Awesome GitHub RepositoriesField Transformations

Keystone Classic is a Node.js headless content management system and web application framework. It provides a database schema framework for defining structured data models and validation rules to organize information. The system automatically generates a responsive administrative dashboard based on predefined data models and database fields, allowing for content management and record editing without custom administration code. The framework covers identity and security through session state management and password encryption. It includes capabilities for request routing, form submission proc

Miller is a command-line data processor used for filtering, transforming, and aggregating name-indexed tabular data. It functions as a tool for querying and reshaping records across multiple file formats, serving as a converter between CSV, JSON, and YAML. The tool distinguishes itself by using a name-indexed data model, allowing users to manipulate fields by name rather than numeric position. It utilizes single-pass streaming algorithms to compute statistics and summaries on large datasets that exceed available system memory. Its capabilities cover data transformation and analysis, includin

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

RediSearch is a Redis module that adds secondary indexing, full-text search, aggregation, and vector similarity search directly into the in-memory data store. It operates as an in-process search engine, extending the core key-value store with capabilities for indexing hash and JSON documents, enabling fast field-level lookups beyond primary key access. The module provides a full-text search engine built on inverted indexes, supporting stemming, fuzzy matching, and relevance scoring via tf-idf. It also includes a vector similarity search engine using a Hierarchical Navigable Small World graph

attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it

GluonTS ist ein Framework für probabilistische Zeitreihenprognosen, das darauf ausgelegt ist, zukünftige Werte als Wahrscheinlichkeitsverteilungen mit Konfidenzintervallen vorherzusagen. Es unterstützt sowohl das traditionelle Modelltraining als auch Zero-Shot-Forecasting, bei dem vortrainierte Modelle Vorhersagen für neue Serien ohne zusätzliches Training generieren. Das Projekt zeichnet sich durch die Integration einer Vielzahl von Prognoseansätzen in einen einheitlichen Workflow aus. Dies umfasst Deep-Learning-Architekturen wie rekurrente neuronale Netze und kausale Konvolutionen sowie die Integration externer statistischer Modelle, der Prophet-Bibliothek und R-Paketen. Das Toolkit bietet eine umfassende Oberfläche für das Zeitreihen-Data-Engineering, die Datensatzskalierung, -aufteilung und die Transformation roher Zeitdaten in Tensoren abdeckt. Es enthält zudem eine Suite von Evaluierungstools zur Messung von Prognosegenauigkeit und Unsicherheitsintervallen sowie Hilfsmittel zur Datensatzpersistenz unter Verwendung von Formaten wie Arrow und Parquet. Das Framework unterstützt die Bereitstellung von Prognosemodellen innerhalb der Cloud-Infrastruktur.

GluonTS ist eine probabilistische Zeitreihenbibliothek und ein Deep-Learning-Prognose-Framework. Es bietet ein Toolkit zum Aufbau, Training und zur Evaluierung neuronaler Netzwerkarchitekturen, die zukünftige Werte als Wahrscheinlichkeitsverteilungen vorhersagen, um Unsicherheit zu quantifizieren. Das Projekt zeichnet sich durch die Unterstützung von Zero-Shot-Forecasting und die Integration diverser Modellierungsansätze aus, einschließlich tiefer probabilistischer neuronaler Netze und Wrapper für externe statistische Bibliotheken wie Prophet und R forecast. Es implementiert spezialisierte architektonische Primitiven wie kausale Konvolutionen und invertierbare Residual-Netzwerke, um Informationslecks zu verhindern und latente Repräsentationen in gültige Wahrscheinlichkeitsverteilungen abzubilden. Das Framework deckt eine umfassende Data-Engineering-Oberfläche ab, einschließlich Zeitreihenskalierung, bijektiver Transformationen und hierarchischer Modellierung. Es nutzt Apache Arrow und Parquet für hochperformantes Datensatz-Streaming und Random-Access-Management. Zur Modellbewertung enthält es eine Evaluierungssuite zur Messung von Prognosegenauigkeit und probabilistischer Abdeckung unter Verwendung von Metriken wie Quantile Loss und Continuous Rank Probability Scores. Die Bibliothek unterstützt die Modellbereitstellung durch Integration mit Amazon SageMaker.

Vega-Lite is a high-level declarative language for specifying interactive, multi-view visualizations. It compiles a concise JSON specification into a full Vega visualization, automatically inferring scales, axes, and legends from encoding declarations. The grammar-of-graphics encoding maps data fields to visual channels such as position, color, size, and shape, while a multi-view composition grammar enables layered, faceted, concatenated, and repeated layouts. Reactive parameter binding links named parameters to input widgets, selections, and expressions for dynamic updates. The project suppo

Mimesis ist ein Python-Generator für synthetische Daten, der zur Erstellung realistischer Testdatensätze und Mock-Daten für die Softwareentwicklung verwendet wird. Er fungiert als schema-basierter Datengenerator, der strukturierte Datensätze und relationale Daten erzeugen kann, und dient zudem als Anonymisierungstool für Produktionsdaten, um sensible Informationen durch synthetische Werte zu ersetzen. Die Bibliothek zeichnet sich durch umfassende Unterstützung für mehrere Sprachen aus, was die Generierung lokalisierter Informationen zur Simulation regionaler Benutzerprofile ermöglicht. Sie stellt Reproduzierbarkeit durch deterministische Datengenerierung mittels Seeds sicher, was konsistente Datensätze über verschiedene Durchläufe hinweg erlaubt. Das Tool deckt eine breite Palette an synthetischen Inhalten ab, darunter persönliche Identitäten, Finanzdaten, geografische Adressen, Netzwerk-Metadaten und wissenschaftliche Sequenzen. Die Funktionen erstrecken sich auf Datentransformation durch bedingte Logik und Piping sowie die Integration mit Dataframes und Factory-Mustern. Zudem unterstützt es die Generierung standardisierter Systemcodes, kryptografischer Token und das Mocking von Binärdateien. Das Framework ist über benutzerdefinierte Datenanbieter und Field-Handler erweiterbar, wodurch Benutzer domänenspezifische Logik und externe JSON-Dateien für spezialisierte Datengenerierung integrieren können.

Visual Insights ist eine Plattform für automatisierte explorative Datenanalyse und ein Tool für kausale Inferenz, das entwickelt wurde, um Muster sowie Ursache-Wirkungs-Zusammenhänge in Datensätzen zu entdecken. Es fungiert als interaktive Datenvisualisierungsbibliothek, die einen Grammar-of-Graphics-Ansatz verwendet, um mehrdimensionale Diagramme und Dashboards zu generieren. Das Projekt zeichnet sich durch eine natürlichsprachliche Schnittstelle aus, die Fragen in Klartext mithilfe eines Sprachmodells in Datenantworten und Visualisierungen übersetzt. Es bietet ein spezialisiertes Framework für kausale Entdeckung und Inferenz, das es Benutzern ermöglicht, Variablenverknüpfungen durch interaktive Kausaldiagramme zu identifizieren und What-if-Analysen zur Validierung von Hypothesen durchzuführen. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter visuelle Datenbereinigung, statistische Profilerstellung und automatisierte Datensatztransformation. Sie unterstützt die Integration verschiedener Daten aus lokalen Dateien und Remote-Datenbanken und verfügt über eine leistungsstarke Verarbeitungs-Engine für die lokale Handhabung großer Datensätze. Zusätzlich ermöglicht das System die Einbettung interaktiver Analysekomponenten in Webanwendungen und Notebooks.

This project is a desktop-based bibliographic reference manager designed to organize academic research libraries and automate citation workflows. It functions as a research assistant that integrates directly with word processors and text editors, enabling users to insert and format references while writing. The application is built on a Java-based portable runtime, allowing it to operate as a self-contained tool that stores preferences and data in local configuration files. The platform distinguishes itself through a modular plugin architecture and a commitment to human-readable, text-based f

Dieses Projekt ist ein Change-Data-Capture-System und eine Synchronisationsschicht, die Daten aus MySQL-Datenbanken in Elasticsearch-Indizes verschiebt. Es fungiert als Relational-to-Document-Mapper, der Datenbanktabellen in durchsuchbare Dokumente umwandelt, um Echtzeit-Datenintegration und Volltextsuche zu ermöglichen. Der Synchronizer zeichnet sich durch die Unterstützung der Denormalisierung relationaler Daten aus, die Eins-zu-Viele-Datenbank-Joins in Eltern-Kind-Dokumentstrukturen umwandelt. Er ermöglicht zudem die Aggregation partitionierter Tabellen unter Verwendung regulärer Ausdrücke, um mehrere Datenbanktabellen in einem einzigen Suchindex zu gruppieren. Das System deckt umfassende Datenmapping- und Transformationsfunktionen ab, einschließlich Feldtypkonvertierung, Schema-Mapping und synchronisierter Filterung von Feldern. Es verwendet ein Pipeline-basiertes Verarbeitungsmodell zum Dekodieren und Zusammenführen von Feldern und nutzt sowohl Snapshot-basiertes Initial-Loading für Baselines als auch Binary-Log-Streaming für Echtzeit-Updates.

NeoSync ist ein Datenbank-Synchronisationstool und ein Daten-Pipeline-Orchestrator, der darauf ausgelegt ist, Datensätze über verschiedene Umgebungen hinweg zu verschieben und zu transformieren. Es fungiert als PII-Datensicherheitsplattform und Generator für synthetische Daten, der die Synchronisation von Produktionsdaten bei gleichzeitiger Gewährleistung der Datenschutz-Compliance ermöglicht. Das System nutzt einen Event-Sourced-Koordinator zur Verwaltung asynchroner Datenbewegungen und bietet automatisierte Wiederholungs- und Fehlerbehandlungsmechanismen. Es zeichnet sich durch die Kombination regelbasierter PII-Anonymisierung und -Erkennung mit schemabasierter Generierung synthetischer Daten aus, um künstliche Datensätze zu erstellen, die Produktionseigenschaften nachahmen, ohne private Informationen preiszugeben. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Datenbank-Subsetting zur Reduzierung des Datenvolumens für Tests, vorlagenbasierter Feldtransformationen zur Umgestaltung von Informationen und der Orchestrierung von Daten-Pipelines zur Wahrung der relationalen Integrität während der Synchronisation.

Baserow is a self-hosted, no-code relational database platform built on PostgreSQL. It provides a spreadsheet-like interface for structuring and managing data without writing code, while exposing all database resources via a REST API to support headless architectures. The platform distinguishes itself by integrating large language models and embedding servers to power AI assistants and automated data generation. It further extends its utility as a no-code application builder, allowing users to create custom internal portals, dashboards, and business tools using visual logic and managed data.

dcat-admin ist ein Laravel-Admin-Panel-Framework, das verwendet wird, um datengesteuerte Administrationsschnittstellen schnell zu erstellen. Es fungiert als CRUD-Generator und Backend-Scaffolding-Tool, das automatisch Schnittstellen zum Erstellen, Lesen, Aktualisieren und Löschen basierend auf Datenbanktabellenschemata produziert. Das System zeichnet sich durch eine plugin-basierte Erweiterungsarchitektur und die Möglichkeit aus, mehrere unabhängige administrative Instanzen innerhalb einer einzigen Installation auszuführen. Es bietet spezialisierte Tools für das Mapping externer APIs auf Formulare und Tabellen sowie einen ereignisgesteuerten Formular-Lebenszyklus für die Ausführung benutzerdefinierter Logik während der Auflösung und Übermittlung. Das Framework deckt ein breites Spektrum an Funktionsbereichen ab, einschließlich rollenbasierter Zugriffskontrolle für die Verwaltung hierarchischer Berechtigungen, einer umfassenden Suite von Datenverwaltungs-Grids mit Inline-Bearbeitung und mehrstufigen Formular-Workflows. Es enthält zudem Datenvisualisierungstools für operative Dashboards und eine Vielzahl von Content-Handling-Utilities für stückweise große Datei-Uploads und Rich-Text-Bearbeitung. Kommandozeilen-Utilities werden bereitgestellt, um die Generierung administrativer Komponenten und Action-Klassen zu automatisieren.

Angle Grinder is a command line log processor and analytics tool used for parsing, filtering, and aggregating logs through a pipeline of text transformations. It functions as a text transformation pipeline that converts unstructured logs, as well as JSON and logfmt serialized data, into structured fields for analysis. The tool enables the computation of summary statistics, including running totals, counts, averages, and percentiles. It specifically supports time series log processing by partitioning data into discrete time windows to analyze event frequency and system behavior. The processin

Dieses Projekt ist eine reaktive State-Management-Bibliothek für den Umgang mit komplexen Formulardaten und Validierungslogik. Sie nutzt beobachterbasierte Muster, um UI-Komponenten mit zugrunde liegenden Datenmodellen zu synchronisieren und sicherzustellen, dass Formularzustände während der gesamten Anwendung konsistent bleiben. Die Bibliothek bietet einen strukturierten Ansatz zur Verwaltung von Formularinitialisierung, Feldverfolgung und Lebenszyklusereignissen. Die Bibliothek zeichnet sich durch ihre Unterstützung für tief verschachtelte Datenstrukturen und hierarchische Komposition aus, was rekursive Validierung und dynamische Updates innerhalb komplexer Objektbäume ermöglicht. Sie verfügt über eine schema-gesteuerte Validierungs-Engine, die sowohl synchrone als auch asynchrone Regeln unterstützt, neben einer Middleware-artigen Abfangfunktion, die es ermöglicht, Daten während Feld-Updates zu überwachen oder zu transformieren. Entwickler können spezifische Felder dynamisch über pfadbasierte Adressierung aufrufen und manipulieren, was Flexibilität bei der Arbeit mit großen oder sich entwickelnden Formularmodellen bietet. Über das Kern-State-Management hinaus enthält die Bibliothek Dienstprogramme für Datentransformation, wie das Formatieren von Eingabewerten und das Berechnen von Feldwerten basierend auf anderen Formulardaten. Sie bietet Multi-Formular-Orchestrierungsfunktionen zur Koordination von Validierung und Übermittlung über mehrere Instanzen hinweg und bleibt von spezifischen Präsentationsschichten entkoppelt, um die Integration mit jeder UI-Komponentenbibliothek zu ermöglichen. Das Framework bietet zudem integrierte Tools zur Überwachung von Feld-Lebenszyklusereignissen und zum Debuggen interner Zustandsübergänge.