Awesome GitHub RepositoriesApache Arrow Processing

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

Fireworks Tech Graph is a tool that generates SVG and PNG technical diagrams from natural language descriptions, supporting both English and Chinese input. It produces publication-quality diagrams for AI architectures, UML types, and other technical domains without requiring manual drawing or diagramming syntax. The tool distinguishes itself through a semantic shape vocabulary and arrow-based flow encoding that conveys component roles and data flow types through consistent geometric shapes, stroke widths, dash patterns, and colors rather than relying on textual labels. It renders the same dia

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

ScottPlot is a cross-platform, high-performance charting library for .NET that renders interactive plots across desktop and web GUI frameworks including Windows Forms, WPF, MAUI, Avalonia, Blazor, and WinUI. It provides an optimized rendering engine capable of displaying millions of data points with interactive pan, zoom, and live data streaming, while also supporting image export to formats like PNG and SVG for file output, cloud applications, and notebooks. The library distinguishes itself through a comprehensive set of chart types including scatter, line, bar, pie, heatmap, financial, rada

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Il s'agit d'une bibliothèque de visualisation de grammaire graphique utilisée pour construire des graphiques en mappant des données tabulaires vers des marques visuelles. Elle fonctionne comme un outil de visualisation de données SVG et une API d'analyse exploratoire des données, permettant aux utilisateurs de rendre des visualisations complexes et des cartes géographiques. La bibliothèque dispose d'un moteur de rendu de carte GeoJSON qui projette des coordonnées sphériques dans un espace pixel bidimensionnel et d'une interface de visualisation Apache Arrow pour un traitement de données à haute efficacité. Sa surface de capacités couvre la transformation des données via le binning et le regroupement, l'encodage visuel via l'inférence automatique d'échelle et l'application de schémas de couleurs, ainsi que la génération de multiples petits graphiques (small multiples). Elle prend en charge le rendu de formes géométriques dans des vues en couches et l'exportation d'images statiques dans des environnements côté serveur.

GluonTS est un framework pour la prévision probabiliste de séries temporelles, conçu pour prédire les valeurs futures sous forme de distributions de probabilité avec des intervalles de confiance. Il prend en charge à la fois l'entraînement de modèle traditionnel et la prévision zero-shot, où des modèles pré-entraînés génèrent des prédictions pour de nouvelles séries sans entraînement supplémentaire. Le projet se distingue en intégrant une grande variété d'approches de prévision dans un flux de travail unifié. Cela inclut des architectures de deep learning telles que les réseaux neuronaux récurrents et les convolutions causales, ainsi que l'intégration de modèles statistiques externes, la bibliothèque Prophet et les packages R. La boîte à outils fournit une surface complète pour l'ingénierie des données de séries temporelles, couvrant la mise à l'échelle des ensembles de données, la division et la transformation des données temporelles brutes en tenseurs. Elle inclut également une suite d'outils d'évaluation pour mesurer la précision des prévisions et les intervalles d'incertitude, ainsi que des utilitaires pour la persistance des ensembles de données utilisant des formats comme Arrow et Parquet. Le framework prend en charge le déploiement de modèles de prévision au sein de l'infrastructure cloud.

GluonTS est une bibliothèque de séries temporelles probabilistes et un framework de prévision par deep learning. Il fournit une boîte à outils pour construire, entraîner et évaluer des architectures de réseau neuronal qui prédisent les valeurs futures sous forme de distributions de probabilité pour quantifier l'incertitude. Le projet se distingue en prenant en charge la prévision zero-shot et en intégrant diverses approches de modélisation, y compris les réseaux neuronaux probabilistes profonds et des wrappers pour des bibliothèques statistiques externes telles que Prophet et R forecast. Il implémente des primitives architecturales spécialisées comme les convolutions causales et les réseaux résiduels inversibles pour empêcher la fuite d'informations et mapper les représentations latentes en distributions de probabilité valides. Le framework couvre une surface d'ingénierie de données complète, y compris la mise à l'échelle des séries temporelles, les transformations bijectives et la modélisation hiérarchique. Il utilise Apache Arrow et Parquet pour la diffusion d'ensembles de données haute performance et la gestion de l'accès aléatoire. Pour l'évaluation des modèles, il inclut une suite d'évaluation pour mesurer la précision des prévisions et la couverture probabiliste en utilisant des métriques comme la perte quantile et les scores de probabilité de rang continu. La bibliothèque prend en charge le déploiement de modèles via l'intégration avec Amazon SageMaker.

Cette bibliothèque de visualisation de données C++ est un framework de traçage scientifique utilisé pour créer des graphiques 2D et 3D, des graphes de réseau et des cartes géographiques. Elle fonctionne comme une bibliothèque graphique multi-backend, découplant la logique de traçage de haut niveau des moteurs de rendu de bas niveau pour prendre en charge divers backends de sortie. Le projet se distingue par une API à double interface, fournissant à la fois une interface fonctionnelle globale pour le prototypage rapide et une interface orientée objet pour un contrôle précis. Il dispose d'un moteur de mise en page basé sur des composants pour gérer les grilles tuilées et les sous-graphiques, ainsi qu'un état de tracé en couches qui permet de superposer plusieurs séries de données sans effacer les axes. La bibliothèque couvre un large éventail de capacités de visualisation, incluant le traçage de fonctions mathématiques, les champs vectoriels et l'analyse de données multidimensionnelles via des cartes thermiques et des coordonnées parallèles. Elle inclut des outils spécialisés pour la visualisation de données géographiques, tels que les graphiques geobubble et geodensity, ainsi que des outils pour le rendu de réseaux de graphes dirigés et non dirigés. Les capacités générales incluent la gestion des axes, le stylisme esthétique avec des colormaps et l'exportation de graphiques de haute qualité. Le projet utilise CMake pour l'automatisation de la construction et la récupération des dépendances afin de faciliter l'installation sur différents systèmes d'exploitation.

Fury est un framework de sérialisation binaire multi-langage conçu pour encoder des objets de domaine et des graphes complexes afin de faciliter l'échange de données entre langages. Il inclut un compilateur de langage de définition d'interface (IDL) qui traduit les définitions de schéma en types natifs idiomatiques et en code de sérialisation répétitif à travers plusieurs langages. Le projet se distingue par un lecteur binaire zero-copy qui permet d'accéder à des champs spécifiques sans désérialiser l'objet entier, ainsi qu'un sérialiseur de graphe d'objets qui préserve les références circulaires et l'intégrité référentielle. Il dispose également d'un convertisseur de données qui transforme les données binaires basées sur des lignes en formats Apache Arrow colonnaires pour les charges de travail analytiques. Le framework couvre de vastes domaines de capacités, incluant l'évolution de schéma pilotée par métadonnées pour la compatibilité ascendante et descendante, un processus de compilation AOT au moment du build pour éliminer la réflexion à l'exécution, et une désérialisation sécurisée via une validation de type basée sur liste blanche. Il fournit en outre une intégration pour des appels de procédure à distance haute performance via gRPC.

Uptrace is an OpenTelemetry-based observability platform designed to collect, store, and analyze distributed traces, metrics, and logs. It functions as a centralized logging backend, a distributed tracing system, and a metrics engine to monitor application performance and system health. The platform is distinguished by AI-powered operational capabilities, allowing users to query telemetry data and manage monitoring dashboards using natural language. It specifically includes specialized monitoring for generative AI pipelines, tracking token usage and response quality for LLM interactions and r