Awesome GitHub RepositoriesDataFrame Ingestion

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

statsforecast ist eine statistische Hochleistungs-Bibliothek für Zeitreihenprognosen, die darauf ausgelegt ist, Punktprognosen und Vorhersageintervalle zu generieren. Sie fungiert als verteiltes Zeitreihen-Framework, das eine C-basierte Prognose-Engine und einen automatisierten Modellselektor nutzt, um das optimale statistische Modell für jede einzigartige Serie in einem Datensatz zu identifizieren und anzupassen. Das System enthält zudem einen Zeitreihen-Anomaliedetektor, um ungewöhnliche Datenpunkte durch den Vergleich beobachteter Werte mit probabilistischen Prognoseintervallen zu identifizieren. Das Projekt zeichnet sich durch seine Fähigkeit aus, massiv parallele Prognosen für Millionen individueller Serien zu verarbeiten. Dies erreicht es durch ein verteiltes Computing-Framework, Multi-Core-Parallel-Ausführung und kompilierte C-Kernels, die die Kernlogik von ARIMA und exponentieller Glättung beschleunigen. Das System optimiert die großskalige Verarbeitung weiter unter Verwendung eines Long-Format-Datenlayouts und einer Lazy-Evaluation-Datenpipeline, um den Speicher-Overhead zu reduzieren. Die Bibliothek bietet eine umfassende Suite von Modellen, einschließlich AutoARIMA, verschiedenen Methoden der exponentiellen Glättung für intermittierende oder saisonale Nachfrage, Theta-Dekomposition und GARCH-Volatilitätsmodellierung für finanzielles Risiko. Sie deckt breitere Funktionsbereiche ab, wie multivariate Prognosen mit exogenen Variablen, Zeitreihen-Dekomposition und Modellevaluierung mittels historischer Kreuzvalidierung und Sliding-Window-Analyse. Die Bibliothek integriert sich mit Hochleistungs-Datenstrukturen wie Polars und bietet Dienstprogramme, um gespeicherte Modelle als REST-Endpunkte für netzwerkzugängliche Vorhersagen bereitzustellen.

Plotnine ist eine Datenvisualisierungsbibliothek für Python, die auf der Grammar of Graphics basiert. Sie dient als deklaratives statistisches Plotting-Framework und Multi-Panel-Plotting-Engine, die es Benutzern ermöglicht, komplexe Diagramme durch das Mapping von Datenvariablen auf visuelle Eigenschaften wie Position, Farbe und Größe zu erstellen. Das Projekt zeichnet sich durch sein schichtbasiertes Kompositionsmodell und eine statistische Transformations-Engine aus, die Aggregationen und Berechnungen vor dem Rendern der Visualisierungen durchführt. Es verfügt über ein umfassendes System für Multi-Panel-Faceting, das die Aufteilung einer einzelnen Visualisierung in ein Raster von Sub-Plots basierend auf kategorialen Variablen ermöglicht. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich diverser geometrischer Repräsentationen für Verteilungs-, Flächen- und Streudiagramme sowie Geodaten-Visualisierung für das Rendern geografischer Grenzen. Sie bietet umfangreiche Tools für Skalen-Mapping, Koordinatenprojektionen und themenbasiertes Styling, um datengetriebene Elemente von nicht-datenbezogenen ästhetischen Eigenschaften zu trennen. Das Framework nutzt ein Matplotlib-Backend für das Rendering und integriert sich über Piping-Operationen mit tabellarischen Dataframes.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di