Awesome GitHub RepositoriesDataFrame Ingestion

Perspective is a columnar data analytics engine and high-performance visualization component powered by WebAssembly. It provides a system for analyzing and visualizing large or streaming datasets through interactive data grids and charts, utilizing a compiled binary to achieve near-native performance within the browser. The project distinguishes itself through a WebSocket-based data streaming interface and deep Apache Arrow integration, which minimize memory overhead when synchronizing tables between servers and clients. It acts as a remote query proxy capable of translating visualization con

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

statsforecast es una biblioteca de pronóstico de series temporales estadísticas de alto rendimiento diseñada para generar pronósticos puntuales e intervalos de predicción. Funciona como un framework de series temporales distribuido que utiliza un motor de pronóstico basado en C y un selector de modelos automatizado para identificar y ajustar el modelo estadístico óptimo para cada serie única en un conjunto de datos. El sistema también incluye un detector de anomalías de series temporales para identificar puntos de datos inusuales comparando valores observados con intervalos de pronóstico probabilísticos. El proyecto se distingue por su capacidad para manejar pronósticos paralelos a gran escala para millones de series individuales. Esto se logra a través de un framework de computación distribuida, ejecución paralela multinúcleo y kernels en C compilados que aceleran la lógica central de ARIMA y suavizado exponencial. El sistema optimiza aún más el procesamiento a gran escala utilizando un diseño de datos en formato largo y un pipeline de datos de evaluación perezosa (lazy-evaluation) para reducir la sobrecarga de memoria. La biblioteca proporciona un conjunto completo de modelos, incluyendo AutoARIMA, varios métodos de suavizado exponencial para demanda intermitente o estacional, descomposición Theta y modelado de volatilidad GARCH para riesgo financiero. Cubre áreas de capacidad más amplias como el pronóstico multivariado con variables exógenas, descomposición de series temporales y evaluación de modelos mediante validación cruzada histórica y análisis de ventana deslizante. La biblioteca se integra con estructuras de datos de alto rendimiento como Polars y proporciona utilidades para servir modelos guardados como endpoints REST para predicciones accesibles por red.

Plotnine es una librería de visualización de datos para Python basada en la Gramática de Gráficos. Sirve como un framework de trazado estadístico declarativo y motor de trazado multipanel, permitiendo a los usuarios crear gráficos complejos mapeando variables de datos a propiedades visuales como posición, color y tamaño. El proyecto se distingue por su uso de un modelo de composición en capas y un motor de transformación estadística que realiza agregaciones y cálculos antes de renderizar visuales. Cuenta con un sistema integral para faceting multipanel, que permite dividir una sola visualización en una cuadrícula de sub-gráficos basados en variables categóricas. La librería cubre una amplia gama de capacidades, incluyendo diversas representaciones geométricas para gráficos de distribución, área y dispersión, así como visualización geoespacial para renderizar límites geográficos. Proporciona herramientas extensas para mapeo de escalas, proyecciones de coordenadas y estilo basado en temas para separar los elementos impulsados por datos de las propiedades estéticas no relacionadas con los datos. El framework utiliza un backend de Matplotlib para el renderizado e integra con dataframes tabulares mediante operaciones de tubería (piping).

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di