Awesome GitHub RepositoriesFile-Based Data Ingestion

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

dtale is a web-based interactive grid and visualizer for pandas dataframes, designed as an exploratory data analysis tool. It provides a browser-based interface for analyzing tabular data structures, allowing users to calculate statistics, detect outliers, and compute correlations without writing manual code. The project functions as an embedded data viewer that can be integrated into web applications via iframes or custom routes, with specific support for Django, Flask, and Streamlit. It enables the exploration of datasets through a combination of an interactive data grid and a data visualiz

Dieses Projekt ist ein High-Performance-Framework für die Verarbeitung tabellarischer Daten in R, das für die effiziente und schnelle Handhabung massiver Datensätze entwickelt wurde. Es bietet eine erweiterte Datenstruktur, die Referenzsemantik und In-Place-Modifikation nutzt, um komplexe Transformationen ohne den Overhead unnötiger Objektkopien durchzuführen. Die Bibliothek zeichnet sich durch ihre Low-Level-Architekturoptimierungen aus, einschließlich Multi-Threaded-Parallelverarbeitung, Radix-basiertem Sortieren und Memory-Mapped-File-Parsing. Durch das Auslagern kritischer Datenmanipulations- und Aggregationsroutinen in kompilierten C-Code ermöglicht sie die schnelle Ausführung von Aufgaben, die ansonsten rechenintensiv wären. Ihre Core-Engine unterstützt fortgeschrittene relationale Operationen wie Non-Equi-, Rolling- und Overlapping-Interval-Joins sowie automatische sekundäre Indizierung zur Beschleunigung wiederholter Datenzugriffe. Über ihre primären Verarbeitungsfunktionen hinaus bietet das Projekt eine umfassende Suite an Tools für das Datenlebenszyklus-Management. Dies umfasst Hochgeschwindigkeits-Ingestion- und Serialisierungs-Utilities mit automatischer Typenerkennung sowie spezialisierte Unterstützung für Zeitreihenanalysen und mehrdimensionale Aggregation. Das Framework ist auf Skalierbarkeit ausgelegt und ermöglicht Benutzern die Durchführung komplexer Gruppierungs-, Filter- und Reshaping-Operationen auf Datensätzen mit Milliarden von Zeilen bei gleichzeitiger Systemstabilität und Performance.