Awesome GitHub RepositoriesData Format Transformations

Pentaho Kettle ist eine Enterprise-ETL-Datenintegrationsplattform, die darauf ausgelegt ist, Daten zwischen unterschiedlichen Quellen und Zieldatenbanken zu extrahieren, zu transformieren und zu laden. Sie fungiert als metadatengesteuerter Orchestrator, der einen visuellen Workflow-Designer nutzt, um komplexe Sequenzen von Datenaufgaben und Transformationspipelines zu erstellen und zu verwalten. Das System zeichnet sich durch seine verteilte Datenverarbeitungs-Engine aus, die Workloads über Cluster von Server-Nodes hinweg ausführt, um den Durchsatz zu erhöhen. Es verwendet eine Plugin-basierte Architektur, die es ermöglicht, die Plattform über externe JAR-Dateien zu erweitern, um Konnektivität zu diversen Datenbanken und Cloud-Diensten bereitzustellen. Die Plattform deckt ein breites Spektrum an Datenintegrationsfunktionen ab, einschließlich Bulk-Loading, Remote-Dateiverwaltung und Datenstrukturtransformation. Sie bietet Werkzeuge für Datenqualitätsvalidierung, Pipeline-Automatisierung und Job-Lebenszyklusmanagement sowie Überwachungsprogramme zur Verfolgung des Serverzustands und des Echtzeit-Ausführungsstatus.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Bookshelf is a JavaScript ORM for Node.js that provides a structured way to define and interact with database models. It centers on a model-driven approach where developers register models, define their relations, and manage data persistence through a consistent interface. The library distinguishes itself through its comprehensive handling of model relationships and data transformations. It supports defining one-to-one, one-to-many, many-to-many, and polymorphic associations, with the ability to eager load related models in a single query to avoid performance pitfalls. Bookshelf also automate

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Octosql ist eine föderierte SQL-Query-Engine, ein Datentransformer und ein Streaming-SQL-Prozessor. Es ermöglicht die Ausführung einzelner SQL-Statements über mehrere heterogene Datenquellen hinweg – einschließlich verschiedener Datenbanktypen und Dateiformate –, um Ergebnisse zu einem einheitlichen Datensatz zusammenzuführen und zu transformieren. Das System zeichnet sich dadurch aus, dass es CSV-, JSONLines- und Parquet-Dateien als virtuelle Tabellen behandelt und eine Plugin-basierte Architektur nutzt, um die Konnektivität zu externen Speichersystemen zu erweitern. Es fungiert als Streaming-Prozessor für unendliche Datenströme und verwendet Watermarks, Retractions und Tumbling Windows, um die Konsistenz bei ungeordneten Ereignissen zu wahren. Zudem dient es als SQL-Datengenerator, der synthetische Datensätze und Record-Streams über tabellenwertige Funktionen erzeugen kann. Die Engine umfasst Funktionen für Cross-Source-Joins und Multi-Source-Analysen, die durch Source-Side Predicate Push-down optimiert werden, um den Datentransfer zu reduzieren. Sie verwaltet komplexe Daten über ein statisches Typsystem mit Union-Types und bietet Observability durch die Visualisierung von Query-Ausführungsplänen.

Dieses Projekt ist eine Sammlung von Big-Data-Frameworks und Pipelines, darunter ein Apache Hive-Analyse-Framework, eine Plattform für Verhaltensdatenanalyse, eine Predictive-Analytics-Engine und Echtzeit-Datenpipelines. Es bietet die Infrastruktur für den Aufbau von ETL-Workflows (Extract, Transform, Load), um große Datensätze für verteilte Speicherung und SQL-basierte Analysen zu verarbeiten. Das System unterstützt diverse analytische Implementierungen, wie eine Predictive-Engine mittels linearer Regression für Prognosen und eine Echtzeit-Architektur, die Daten über Message-Broker für sofortiges Reporting weiterleitet. Es enthält spezialisierte Funktionen für die Analyse von Nutzerverhalten, E-Commerce-Performance-Messungen und Daten des städtischen Nahverkehrs. Die Codebasis deckt ein breites Spektrum an Data Engineering und Analyse ab, einschließlich Datenbereinigung und -transformation, verteilter Datenaufnahme (Ingestion), fensterbasierter Stream-Verarbeitung und der Visualisierung von Ergebnissen durch Business-Intelligence-Tools. Zudem ermöglicht es die Berechnung spezifischer Geschäftskennzahlen wie Konversionsraten, Monetarisierungs-Performance und Nutzer-Engagement-Level.

Kiln ist eine LLM-Entwicklungs-Workbench und ein Evaluierungs-Framework, das für das Design, das Testen und die Optimierung von Prompts und KI-Agenten entwickelt wurde. Es fungiert als Multi-Agenten-Orchestrator und RAG-Optimierungstool und bietet eine visuelle Schnittstelle für die iterative Entwicklung von KI-Systemen. Das Projekt zeichnet sich durch eine umfassende Fine-Tuning-Pipeline aus, die Zero-Code-Modelltraining und Reasoning-Destillation unterstützt. Es ermöglicht die Erstellung hierarchischer Multi-Agenten-Systeme, in denen spezialisierte Akteure über Tool-Calling koordinieren, und implementiert einen Model Context Protocol-Server, um diese Agenten und Suchfunktionen als standardisierte Tools für externe Clients bereitzustellen. Die Plattform deckt ein breites Spektrum an Fähigkeiten ab, einschließlich automatisierter KI-Jury-Bewertung zur Qualitätssicherung, synthetischer Datengenerierung für Training und Evaluierung sowie hybrider Vektor-Keyword-Suche zur Erdung von Modellantworten. Sie bietet zudem Tools für Prompt-Evolution, Trace-Auditing und die Verwaltung kollaborativer Datensätze via Git-Integration. Die Workbench ist über eine selbst-hostbare REST-API und eine dedizierte Python-Bibliothek für die programmatische Workflow-Ausführung zugänglich.

codeigniter-restserver ist ein REST-API-Framework und eine Controller-Bibliothek zum Erstellen von RESTful-Servern innerhalb der CodeIgniter-PHP-Umgebung. Es fungiert als Backend-Implementierung, die standardmäßige HTTP-Methoden verarbeitet, um Daten und Funktionen über strukturierte Endpunkte bereitzustellen. Das Projekt enthält eine anpassbare Response-Engine, die die Transformation von Ausgabedaten in verschiedene spezifische Formate durch benutzerdefinierte Formatierungsmethoden ermöglicht. Die Bibliothek bietet Tools zur Zuordnung eingehender HTTP-Anfragen zu Controller-Methoden, zur Verwaltung von Ressourcen-Antworten und zur Implementierung einer konfigurationsbasierten Zugriffskontrolle.

Consul Template ist ein Konfigurations-Renderer und dynamischer Konfigurationsmanager, der Dateien durch das Befüllen von Templates mit Daten aus Consul und Vault generiert. Es fungiert als Template-Engine für Service Discovery und als Integrator für Secrets Management, wobei Cluster-Katalog- und Gesundheitsdaten in formatierte Konfigurationsdateien umgewandelt werden. Das Tool zeichnet sich dadurch aus, dass es als Prozess-Supervisor und Notifier fungiert, der in der Lage ist, Shell-Befehle auszuführen oder Anwendungen automatisch nach der Aktualisierung von Templates neu zu starten. Es verfügt über einen Long-Polling-Watcher zur Überwachung entfernter Key-Value-Stores und verwendet einen Shared-Locking-Mechanismus, um Updates über mehrere Instanzen hinweg zu koordinieren und gleichzeitige Service-Neustarts zu verhindern. Das System deckt ein breites Spektrum an Funktionen ab, darunter automatisierte Secret-Rotation für PKI-Zertifikate und Vault-Credentials, Datenformat-Transformation für JSON und YAML sowie die Ausführung externer Binär-Plugins für benutzerdefinierte Datenverarbeitung. Zudem bietet es Infrastruktur-Bootstrapping und verteilte Rendering-Synchronisierung, um die API-Last durch leader-basierte Abfrage-Deduplizierung zu reduzieren.

JSON-java ist eine Java-Bibliothek zum Parsen und Generieren von JSON-Text und dessen Mapping auf Java-Objekte und -Sammlungen. Sie fungiert als Serialisierungs-Framework zur Umwandlung von Klasseninstanzen und Datenstrukturen in standardisierte JSON-Strings. Das Projekt enthält eine JSON-Pointer-Implementierung zum Abrufen spezifischer Werte aus Dokumenten unter Verwendung von String- oder URI-Fragment-Repräsentationen. Es bietet zudem einen Konverter zur Übersetzung von Datenstrukturen zwischen JSON und XML sowie einen Übersetzer zur Transformation von Daten zwischen JSON und Webformaten wie HTTP-Headern, Cookies und kommagetrennten Listen. Die Bibliothek deckt breite Funktionen für die JSON-Verarbeitung ab, einschließlich Objekt-Serialisierung und -Deserialisierung. Sie unterstützt flexibles Parsen von JSON-Text in Objekte und die Generierung standardisierter JSON-Dokumente.

Rudder Server ist eine Customer Data Platform (CDP) und Event-Routing-Pipeline, die darauf ausgelegt ist, Kundendaten zu sammeln, zu transformieren und von verschiedenen Quellen an Data Warehouses und Business-Tools weiterzuleiten. Es fungiert als Customer-Identity-Resolver, der Identifikatoren aus mehreren Quellen verknüpft, um einen einheitlichen Identitätsgraphen und umfassende verhaltensbasierte Kundenprofile zu erstellen. Das System zeichnet sich durch Reverse-ETL-Funktionen aus, die verarbeitete Kundensegmente und Zielgruppen aus Data Warehouses zurück in operative Drittanbieteranwendungen pushen. Es bietet zudem eine containerisierte Datenebene für Kubernetes-Deployments, was die Verwaltung der Dateninfrastruktur als Code ermöglicht. Die Plattform deckt eine breite Palette von Datenmanagement-Funktionen ab, einschließlich Echtzeit-Event-Transformation, Schema-Validierung via Datenkatalogen und Privacy-Governance. Dazu gehören Tools zur Verwaltung der Benutzereinwilligung, zur Durchsetzung der Datenresidenz innerhalb spezifischer geografischer Regionen und zur Maskierung personenbezogener Daten während der Übertragung. Installation und Deployment der Datenebenen-Komponenten werden mittels Helm-Charts verwaltet.

llm-foundry ist ein Trainings-Framework für Large Language Models, das ein System für das Pre-training von Foundation Models und das überwachte Fine-tuning bietet. Es enthält einen verteilten Trainer zur Skalierung von Workloads über mehrere Knoten und GPUs, eine Dataset-Streaming-Pipeline zum Laden von Daten aus Cloud-Speichern sowie eine Implementierung für parameter-effizientes Fine-tuning. Das Framework zeichnet sich durch Parameter-Sharding und High-Throughput-Data-Streaming aus, um die Stabilität bei groß angelegtem Training zu gewährleisten. Es integriert Low-Rank Adaptation (LoRA), um Rechenkosten zu senken, und nutzt 8-Bit-Gleitkommapräzision, um die Rechengeschwindigkeit auf kompatibler Hardware zu erhöhen. Die Codebasis deckt eine breite Palette an Funktionen ab, darunter Dataset-Engineering zur Transformation von Rohdaten in komprimierte Formate, Benchmarking der Modellleistung durch eine Evaluations-Suite und die Möglichkeit, Modellgewichte in standardisierte Industrieformate zu exportieren. Es unterstützt zudem die Registrierung benutzerdefinierter Komponenten via Decorators und bietet Kontrolle über Methoden für Positional Embeddings.

Assemble is a static site generator and build pipeline system that compiles markdown, templates, and data into static HTML files. It functions as a markdown-to-HTML converter and a data format transformer capable of moving content between JSON, YAML, XML, PLIST, and CSV formats. The project features a pipeline-based build process where users can define ordered sequences of data transformations and file processing steps. It includes project scaffolding tools to bootstrap directory structures and configuration files from predefined boilerplates. The system manages content through collection-ba

Dieses Projekt ist eine Datenbank-Abstraktionsschicht für Laravel, die das Repository-Pattern implementiert, um Geschäftslogik von Eloquent-Datenbankabfragen zu entkoppeln. Es bietet ein standardisiertes Interface für Datenabruf, Paginierung und Filterung. Das System enthält einen Query-Kriterien-Mechanismus zum Anwenden wiederverwendbarer Suchbedingungen basierend auf Request-Parametern und einen Caching-Wrapper, der gespeicherte Ergebnisse bei der Erstellung, Aktualisierung oder Löschung von Datensätzen automatisch bereinigt. Es bietet zudem eine Präsentationsschicht, um rohe Datenbankmodell-Attribute in formatierte Ausgaben für User-Interfaces zu transformieren. Zusätzliche Funktionen umfassen ein CLI-Tool für das Scaffolding von Modellen, Repositories, Controllern und Service-Providern sowie Tools zur Validierung von Repository-Daten und zur Transformation von Modellattributen.

AdalFlow is an autonomous AI agent framework and LLM application library designed for building modular workflows. It serves as a model-agnostic interface and RAG pipeline orchestrator, allowing users to develop ReAct agents that utilize iterative reasoning and external tool execution to solve complex tasks. The project distinguishes itself through a prompt optimization system that uses textual gradient descent to automatically refine prompt templates and few-shot examples. It treats model feedback as a differentiable signal, enabling a form of LLM backpropagation to iteratively improve output

fsql ist ein Command-Line-Interface-Tool, das eine SQL-ähnliche Abfragesprache zum Finden von Dateien und Verzeichnissen auf einem lokalen Datenträger bereitstellt. Es fungiert als Dateisystem-Abfrage-Engine, die es Benutzern ermöglicht, Dateien durch Ausführen strukturierter Anweisungen gegen Metadaten zu isolieren, anstatt Standard-Kommandozeilen-Flags zu verwenden. Das Tool bietet eine interaktive Read-Eval-Print-Loop, die mehrzeilige Abfragen und rekursive Unterabfragen unterstützt, bei denen die Ergebnisse verschachtelter Suchvorgänge als Kriterien für äußere Abfragen dienen. Suchbereiche sind durch die Auflösung absoluter Pfade, relativer Pfade, Umgebungsvariablen und Glob-Muster konfigurierbar. Das System wendet algebraische Operatoren, reguläre Ausdrücke und logische Filter auf Dateiattribute wie Hash, Größe und Änderungszeit an. Es enthält Datentransformations-Dienstprogramme, um diese Attribute in menschenlesbare Zeitstempel und standardisierte Größeneinheiten zu formatieren.

Dieses Projekt ist ein High-Performance-Framework für die Verarbeitung tabellarischer Daten in R, das für die effiziente und schnelle Handhabung massiver Datensätze entwickelt wurde. Es bietet eine erweiterte Datenstruktur, die Referenzsemantik und In-Place-Modifikation nutzt, um komplexe Transformationen ohne den Overhead unnötiger Objektkopien durchzuführen. Die Bibliothek zeichnet sich durch ihre Low-Level-Architekturoptimierungen aus, einschließlich Multi-Threaded-Parallelverarbeitung, Radix-basiertem Sortieren und Memory-Mapped-File-Parsing. Durch das Auslagern kritischer Datenmanipulations- und Aggregationsroutinen in kompilierten C-Code ermöglicht sie die schnelle Ausführung von Aufgaben, die ansonsten rechenintensiv wären. Ihre Core-Engine unterstützt fortgeschrittene relationale Operationen wie Non-Equi-, Rolling- und Overlapping-Interval-Joins sowie automatische sekundäre Indizierung zur Beschleunigung wiederholter Datenzugriffe. Über ihre primären Verarbeitungsfunktionen hinaus bietet das Projekt eine umfassende Suite an Tools für das Datenlebenszyklus-Management. Dies umfasst Hochgeschwindigkeits-Ingestion- und Serialisierungs-Utilities mit automatischer Typenerkennung sowie spezialisierte Unterstützung für Zeitreihenanalysen und mehrdimensionale Aggregation. Das Framework ist auf Skalierbarkeit ausgelegt und ermöglicht Benutzern die Durchführung komplexer Gruppierungs-, Filter- und Reshaping-Operationen auf Datensätzen mit Milliarden von Zeilen bei gleichzeitiger Systemstabilität und Performance.

dsq is a command-line interface and data engine for executing SQL queries against local structured files, such as CSV, JSON, Parquet, and Excel, without requiring a formal database import. It functions as a schema-inference engine that automatically detects data types and maps heterogeneous file structures into relational tables for analysis. The tool utilizes a lazy stream data processor and checksum-based disk caching to handle large datasets with minimal memory usage. It provides a persistent interactive shell for iterative data exploration, allowing users to inspect inferred schemas and r

Tabletop is a JavaScript library and data parser designed to retrieve data from public Google Sheets and convert it into structured JSON objects. It functions as a client-side tool for fetching remote spreadsheet data and transforming rows into lists of objects or arrays for use in web applications. The library enables the use of Google Sheets as a lightweight database, allowing for dynamic content management where application data can be updated by editing a spreadsheet. It supports selective worksheet retrieval to limit the amount of transferred data and provides programmatic interfaces for

This project is a PHP SQL REST API generator and database API wrapper that automatically transforms SQL database tables into a functional web interface. It serves as a lightweight layer that maps HTTP methods to SQL commands, allowing for the creation, reading, updating, and deletion of records without writing manual endpoint code. The tool distinguishes itself by providing a dedicated spatial data API gateway for querying and exporting geometry columns using GeoJSON and WKT standards. It also functions as a multi-tenant data API, capable of isolating records for different users through share