Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle ist eine Enterprise-ETL-Datenintegrationsplattform, die darauf ausgelegt ist, Daten zwischen unterschiedlichen Quellen und Zieldatenbanken zu extrahieren, zu transformieren und zu laden. Sie fungiert als metadatengesteuerter Orchestrator, der einen visuellen Workflow-Designer nutzt, um komplexe Sequenzen von Datenaufgaben und Transformationspipelines zu erstellen und zu verwalten. Das System zeichnet sich durch seine verteilte Datenverarbeitungs-Engine aus, die Workloads über Cluster von Server-Nodes hinweg ausführt, um den Durchsatz zu erhöhen. Es verwendet eine Plugin-basierte Architektur, die es ermöglicht, die Plattform über externe JAR-Dateien zu erweitern, um Konnektivität zu diversen Datenbanken und Cloud-Diensten bereitzustellen. Die Plattform deckt ein breites Spektrum an Datenintegrationsfunktionen ab, einschließlich Bulk-Loading, Remote-Dateiverwaltung und Datenstrukturtransformation. Sie bietet Werkzeuge für Datenqualitätsvalidierung, Pipeline-Automatisierung und Job-Lebenszyklusmanagement sowie Überwachungsprogramme zur Verfolgung des Serverzustands und des Echtzeit-Ausführungsstatus.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql ist eine föderierte SQL-Query-Engine, ein Datentransformer und ein Streaming-SQL-Prozessor. Es ermöglicht die Ausführung einzelner SQL-Statements über mehrere heterogene Datenquellen hinweg – einschließlich verschiedener Datenbanktypen und Dateiformate –, um Ergebnisse zu einem einheitlichen Datensatz zusammenzuführen und zu transformieren. Das System zeichnet sich dadurch aus, dass es CSV-, JSONLines- und Parquet-Dateien als virtuelle Tabellen behandelt und eine Plugin-basierte Architektur nutzt, um die Konnektivität zu externen Speichersystemen zu erweitern. Es fungiert als Streaming-Prozessor für unendliche Datenströme und verwendet Watermarks, Retractions und Tumbling Windows, um die Konsistenz bei ungeordneten Ereignissen zu wahren. Zudem dient es als SQL-Datengenerator, der synthetische Datensätze und Record-Streams über tabellenwertige Funktionen erzeugen kann. Die Engine umfasst Funktionen für Cross-Source-Joins und Multi-Source-Analysen, die durch Source-Side Predicate Push-down optimiert werden, um den Datentransfer zu reduzieren. Sie verwaltet komplexe Daten über ein statisches Typsystem mit Union-Types und bietet Observability durch die Visualisierung von Query-Ausführungsplänen.

This project is a comprehensive pandas data analysis tutorial and instructional guide designed for learning data manipulation and analysis. It serves as a tabular data processing guide and a manual for time series analysis, providing a structured approach to cleaning, merging, and transforming datasets. The repository functions as a data feature engineering course, providing tutorials on constructing and selecting dataset features to improve machine learning model performance. It also includes a vectorized data operations guide for performing element-wise mathematical computations and matrix

Calcite ist ein Framework zum Parsen, Optimieren und Übersetzen von SQL-Abfragen in relationale Algebra für die Ausführung über verschiedene Datenquellen hinweg. Es fungiert als Cross-Source-Query-Engine, SQL-Parsing-Bibliothek und Optimierer für relationale Algebra. Das Projekt bietet eine kostenbasierte Optimierungs-Engine, die logische Abfragepläne mittels pluggbarer Regeln in effiziente physische Ausführungspläne umwandelt. Es nutzt Übersetzungsadapter, um Standard-SQL-Anfragen in die nativen Formate externer Datenbanken und Messaging-Systeme zu konvertieren, was Datenföderation über heterogene Speichersysteme hinweg ermöglicht. Das System deckt den gesamten Abfrage-Lebenszyklus ab, einschließlich SQL-Parsing und Validierung gegen Schemata, die Übersetzung von Ausdrücken in algebraische Operatoren sowie die Auswahl effizienter Ausführungspläne. Es enthält zudem ein Command-Line-Interface zum Ausführen von Abfragen und Verwalten von Verbindungen zu Datenquellen.

Davinci ist eine Business-Intelligence- und Datenvisualisierungsplattform, die für den Aufbau interaktiver Dashboards und Berichte verwendet wird. Sie fungiert als SQL-basierter Dashboard-Builder und Multi-Tenant-Analytics-Dienst, der über JDBC und CSV-Dateien mit Datenbanken verbunden wird, um Rohdaten in visuelle Komponenten zu transformieren. Die Plattform zeichnet sich durch ihr granulares Sicherheitsmodell aus, das Zeilen- und Spalten-basierte Berechtigungen umfasst, die in LDAP- und OAuth2-Authentifizierung integriert sind. Sie bietet zudem ein eingebettetes Visualisierungstool, das es ermöglicht, sichere, parametrisierte Diagramme und Dashboards über URLs und Frames in externe Anwendungen einzubinden. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Datenmodellierung mit SQL-Vorlagen, einer Drag-and-Drop-Layout-Engine für responsive Dashboards und einer Vielzahl von Visualisierungstypen wie Sankey-Diagrammen, Radar-Charts und geografischen Karten. Zudem umfasst es Automatisierungen für die Planung E-Mail-basierter Berichte und nutzt Key-Value-Caching zur Optimierung der Abfrageleistung.

esProc ist ein verteiltes ETL-Framework und eine eingebettete Datenberechnungs-Engine. Es bietet eine strukturierte Datensprache für die Java Virtual Machine, die für relationale Abfragen, komplexe Datenberechnungen und strukturierte Datenanalyse entwickelt wurde. Das System verfügt über eine Abfrageschnittstelle für natürliche Sprache, die große Sprachmodelle nutzt, um Anfragen in ausführbare Abfragen gegen strukturierte Datensätze zu übersetzen. Es verwendet eine domänenspezifische Abfragesprache mit präziser Syntax, um Tabellenbeziehungen herzustellen und Informationen abzurufen. Die Plattform deckt die Datenintegration über verschiedene relationale und NoSQL-Quellen hinweg ab und verwaltet ETL-Workflows, um Daten zwischen Dateien und Datenbanken zu verschieben. Zusätzliche Funktionen umfassen die Generierung strukturierter Datenberichte, eine Echtzeit-Gitter-Schnittstelle für die Visualisierung der schrittweisen Ausführung und die Möglichkeit, benutzerdefinierte externe freigegebene Bibliotheken zu integrieren.

Dieses Projekt ist eine Plattform für verteiltes maschinelles Lernen und ein Framework für Sparse Deep Learning, das für das Training und Serving von Modellen mit hochdimensionalen, spärlichen Daten konzipiert ist. Es fungiert als Online-Modell-Serving-Infrastruktur und Engine für Empfehlungssysteme und ermöglicht das Echtzeit-Item-Retrieval und Scoring mittels Deep-Tree-Matching und neuronalen Netzen. Das System zeichnet sich durch ein Multi-Task-Learning-Framework aus, das mehrere Zielfunktionen innerhalb eines gemeinsamen Repräsentationsraums optimiert. Es bietet eine spezialisierte Online-Serving-Infrastruktur, die dynamisches Hot-Loading von Modellen und die Transformation von Standard-Checkpoints in ein benutzerdefiniertes, optimiertes Format für High-Performance-Inferenz unterstützt. Die Plattform deckt eine breite Palette an Funktionen ab, einschließlich verteilter Parameterverwaltung zur Skalierung des Trainings über mehrere Worker hinweg, Sparse-Embedding-Berechnung für kategoriale Features und baumbasiertes neuronales Retrieval für groß angelegte Kataloge. Zudem bietet sie Tools für das Streaming-Trainingsmanagement, Feature-Lebenszykluskontrolle via Wahrscheinlichkeitsschwellenwerte und Performance-Profiling zur Identifizierung von Ausführungsengpässen. Das Projekt enthält eine einheitliche Trainingsschnittstelle und Backend-Framework-Integration, um die Ausführung von Trainings-, Vorhersage- und Evaluierungsaufgaben zu standardisieren.

SimpleTransformers is a high-level framework for training and fine-tuning transformer models for diverse natural language processing tasks. It functions as a toolkit for developing text classification, named entity recognition, and question answering models, while also serving as a sequence-to-sequence tool and a text embedding generator. The library distinguishes itself by providing a multi-modal model trainer capable of processing and classifying data that combines both text and image inputs. It further supports specialized workflows for conversational AI training, language model generation

Chunjun ist ein verteiltes Datenintegrations-Framework und eine SQL-basierte ETL-Pipeline, die entwickelt wurde, um Daten zwischen heterogenen Quellen zu synchronisieren. Es fungiert als Change-Data-Capture-Tool (CDC) und heterogener Datensynchronisierer und nutzt eine verteilte Verarbeitungsumgebung, um Daten über verschiedene Datenbanktypen hinweg zu bewegen und zu transformieren. Das System zeichnet sich durch seine Plugin-basierte Connector-Architektur aus, die die Entwicklung benutzerdefinierter Source- und Sink-Plugins ermöglicht, um die Konnektivität auf nicht unterstützte Datensysteme auszuweiten. Es unterstützt Echtzeit-Change-Data-Capture aus relationalen Datenbank-Logs und implementiert Schema-Evolution-Propagation, um strukturelle Änderungen automatisch von Quell- auf Zieltabellen anzuwenden. Das Framework bietet Funktionen für inkrementelle Datensynchronisierung und quellübergreifende Datenberechnung mittels SQL-Logik. Die Zuverlässigkeit wird durch Checkpoint-basiertes Task-Recovery zur Wiederaufnahme unterbrochener Übertragungen und Dead-Letter-Queues für das Management fehlerhafter Daten zur Prüfung falsch formatierter Datensätze verwaltet. Integrationsaufgaben können über eigenständige Cluster, Yarn oder Kubernetes-Umgebungen bereitgestellt werden, mit Unterstützung für containerisierte Bereitstellung via Docker.