Awesome GitHub RepositoriesApache Arrow Processing

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

Apache DataFusion is an extensible, columnar SQL query engine that runs embedded within a host application without requiring a separate server process. It processes data in columnar batches using Apache Arrow for memory-efficient analytics, and can scale analytic workloads across multiple nodes for parallel execution. The engine supports both SQL and DataFrame queries through a modular, streaming architecture that allows custom operators, data sources, functions, and optimizer rules. The engine distinguishes itself through its modular extension framework, which enables building custom query e

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

Fireworks Tech Graph is a tool that generates SVG and PNG technical diagrams from natural language descriptions, supporting both English and Chinese input. It produces publication-quality diagrams for AI architectures, UML types, and other technical domains without requiring manual drawing or diagramming syntax. The tool distinguishes itself through a semantic shape vocabulary and arrow-based flow encoding that conveys component roles and data flow types through consistent geometric shapes, stroke widths, dash patterns, and colors rather than relying on textual labels. It renders the same dia

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

ScottPlot is a cross-platform, high-performance charting library for .NET that renders interactive plots across desktop and web GUI frameworks including Windows Forms, WPF, MAUI, Avalonia, Blazor, and WinUI. It provides an optimized rendering engine capable of displaying millions of data points with interactive pan, zoom, and live data streaming, while also supporting image export to formats like PNG and SVG for file output, cloud applications, and notebooks. The library distinguishes itself through a comprehensive set of chart types including scatter, line, bar, pie, heatmap, financial, rada

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Esta es una biblioteca de visualización de gramática de gráficos utilizada para construir gráficos mapeando datos tabulares a marcas visuales. Funciona como una herramienta de visualización de datos SVG y una API de análisis exploratorio de datos, permitiendo a los usuarios renderizar visualizaciones complejas y mapas geográficos. La biblioteca cuenta con un renderizador de mapas GeoJSON que proyecta coordenadas esféricas en un espacio de píxeles bidimensional y una interfaz de visualización de Apache Arrow para el procesamiento de datos de alta eficiencia. Su superficie de capacidades cubre la transformación de datos mediante binning y agrupación, codificación visual mediante inferencia automática de escala y aplicación de esquemas de color, y la generación de múltiples pequeños (small multiples). Admite la renderización de formas geométricas en vistas en capas y la exportación de imágenes estáticas en entornos de servidor.

GluonTS es un framework para el pronóstico probabilístico de series temporales, diseñado para predecir valores futuros como distribuciones de probabilidad con intervalos de confianza. Soporta tanto el entrenamiento de modelos tradicionales como el pronóstico zero-shot, donde modelos preentrenados generan predicciones para nuevas series sin entrenamiento adicional. El proyecto se distingue por integrar una amplia variedad de enfoques de pronóstico en un flujo de trabajo unificado. Esto incluye arquitecturas de aprendizaje profundo como redes neuronales recurrentes y convoluciones causales, así como la integración de modelos estadísticos externos, la librería Prophet y paquetes de R. El kit de herramientas proporciona una superficie integral para la ingeniería de datos de series temporales, cubriendo el escalado de conjuntos de datos, la división y la transformación de datos temporales sin procesar en tensores. También incluye un conjunto de herramientas de evaluación para medir la precisión del pronóstico y los intervalos de incertidumbre, así como utilidades para la persistencia de conjuntos de datos utilizando formatos como Arrow y Parquet. El framework soporta el despliegue de modelos de pronóstico dentro de la infraestructura en la nube.

GluonTS es una librería de series temporales probabilísticas y framework de pronóstico de aprendizaje profundo. Proporciona un kit de herramientas para construir, entrenar y evaluar arquitecturas de redes neuronales que predicen valores futuros como distribuciones de probabilidad para cuantificar la incertidumbre. El proyecto se distingue por soportar el pronóstico zero-shot e integrar diversos enfoques de modelado, incluyendo redes neuronales probabilísticas profundas y envoltorios para librerías estadísticas externas como Prophet y R forecast. Implementa primitivas arquitectónicas especializadas como convoluciones causales y redes residuales invertibles para prevenir la fuga de información y mapear representaciones latentes en distribuciones de probabilidad válidas. El framework cubre una superficie de ingeniería de datos integral, incluyendo escalado de series temporales, transformaciones biyectivas y modelado jerárquico. Utiliza Apache Arrow y Parquet para el streaming de conjuntos de datos de alto rendimiento y la gestión de acceso aleatorio. Para la evaluación de modelos, incluye una suite de evaluación para medir la precisión del pronóstico y la cobertura probabilística utilizando métricas como la pérdida de cuantiles y puntuaciones de probabilidad de rango continuo. La librería soporta el despliegue de modelos a través de la integración con Amazon SageMaker.

Esta librería de visualización de datos en C++ es un framework de trazado científico utilizado para crear gráficos 2D y 3D, grafos de red y mapas geográficos. Opera como una librería de gráficos multi-backend, desacoplando la lógica de trazado de alto nivel de los motores de renderizado de bajo nivel para soportar varios backends de salida. El proyecto se distingue por una API de interfaz dual, que proporciona tanto una interfaz funcional global para prototipado rápido como una interfaz orientada a objetos para un control preciso. Cuenta con un motor de diseño basado en componentes para gestionar cuadrículas y subgráficos, junto con un estado de trazado en capas que permite superponer múltiples series de datos sin borrar los ejes. La librería cubre una amplia gama de capacidades de visualización, incluyendo trazado de funciones matemáticas, campos vectoriales y análisis de datos multidimensionales mediante mapas de calor y coordenadas paralelas. Incluye herramientas especializadas para la visualización de datos geográficos, como gráficos geobubble y geodensity, así como herramientas para renderizar redes de grafos dirigidos y no dirigidos. Las capacidades generales incluyen gestión de ejes, estilo estético con mapas de colores y exportación de gráficos de alta calidad. El proyecto utiliza CMake para la automatización de la compilación y la recuperación de dependencias para facilitar la instalación en diferentes sistemas operativos.

Fury es un framework de serialización binaria multilenguaje diseñado para codificar objetos de dominio y grafos complejos para facilitar el intercambio de datos entre lenguajes. Incluye un compilador de lenguaje de definición de interfaz (IDL) que traduce definiciones de esquemas a tipos nativos idiomáticos y código repetitivo de serialización en múltiples lenguajes. El proyecto se distingue por un lector binario de copia cero (zero-copy) que permite acceder a campos específicos sin deserializar todo el objeto, así como un serializador de grafos de objetos que preserva las referencias circulares y la integridad referencial. También cuenta con un convertidor de datos que transforma datos binarios basados en filas a formatos columnares de Apache Arrow para cargas de trabajo analíticas. El framework cubre amplias áreas de capacidad, incluyendo la evolución de esquemas basada en metadatos para compatibilidad hacia adelante y hacia atrás, un proceso de compilación AOT en tiempo de construcción para eliminar la reflexión en tiempo de ejecución y la deserialización segura mediante validación de tipos basada en listas blancas. Además, proporciona integración para llamadas a procedimientos remotos de alto rendimiento a través de gRPC.

Uptrace is an OpenTelemetry-based observability platform designed to collect, store, and analyze distributed traces, metrics, and logs. It functions as a centralized logging backend, a distributed tracing system, and a metrics engine to monitor application performance and system health. The platform is distinguished by AI-powered operational capabilities, allowing users to query telemetry data and manage monitoring dashboards using natural language. It specifically includes specialized monitoring for generative AI pipelines, tracking token usage and response quality for LLM interactions and r