Awesome GitHub RepositoriesData Stream Integrations

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

This project is a collection of educational resources and reference implementations for the Apache Flink stream processing framework. It provides a learning resource focused on mastering distributed stream processing through implementation guides, performance tuning tutorials, and practical examples. The repository features detailed walkthroughs for building real-time data pipelines using the DataStream and Table APIs. It includes specific integration examples for connecting Apache Flink with Kafka brokers and Elasticsearch indices, as well as reference implementations for real-time deduplica

Open MCT is a web-based framework designed for visualizing telemetry data and monitoring the health of complex systems. It provides a centralized environment for ingesting, processing, and displaying real-time and historical data streams through customizable operator dashboards. The platform is built on a modular architecture that allows for the integration of external data sources and the addition of custom features through a plugin system. By utilizing a hierarchical object-graph model and a unified interface for time-series data, the framework ensures that information is consistently repre

Redpanda is a distributed event streaming engine designed to serve as a high-performance, drop-in replacement for existing event-driven architectures. It provides a foundation for building and scaling applications that require reliable data movement, analytical querying, and strict operational compliance across both cloud and self-managed environments. The platform distinguishes itself through a shared-nothing architecture that utilizes thread-per-core execution and a non-blocking asynchronous input/output engine to maximize throughput. It maintains data consistency through a consensus-based

Orleans is a .NET distributed actor framework designed for building scalable, cloud-native applications. It implements a virtual actor model where entities with stable identities manage their own state and lifecycle across a cluster of servers. The framework provides a distributed state management system with ACID transaction support and a distributed pub/sub streaming engine for real-time data processing. It distinguishes itself through location-transparent routing, automatic actor activation and deactivation, and elastic cluster scaling that redistributes workloads during node failures. Th

Mage AI es un orquestador de pipelines de datos basado en Python y un entorno de desarrollo integrado (IDE) de datos autohospedado. Está diseñado para construir, programar y monitorear flujos de trabajo de datos utilizando un diseño de pipeline basado en bloques y una interfaz de cuaderno interactiva. La plataforma se distingue por integrar capacidades de IA generativa, permitiendo a los usuarios conectar proveedores de grandes modelos de lenguaje mediante API para incorporar inteligencia artificial en flujos de datos automatizados. También funciona como un procesador de datos de Apache Spark, gestionando los kernels y la infraestructura necesarios para análisis de alto volumen y procesamiento de datos a gran escala. El sistema cubre una amplia gama de capacidades de ingeniería de datos, incluyendo la automatización de flujos de trabajo ETL, la gestión de modelos dbt y el descubrimiento de flujos de datos. Proporciona herramientas para la integración de control de versiones mediante Git, despliegue en contenedores y control de acceso basado en roles para gestionar pipelines en entornos de desarrollo y producción. El monitoreo se maneja a través de telemetría de rendimiento del sistema y depuración de ejecución de pipelines.

Horizon is a realtime API server and RethinkDB backend designed to push database changes instantly to front-end clients. It utilizes a WebSocket data streaming API to synchronize data between the database and user interfaces without requiring manual polling. The project integrates an OAuth identity manager for verifying user identities through third-party providers and a role-based access control system to define granular permissions for viewing or modifying database documents. It is delivered as a containerized backend framework, allowing the server and its dependencies to be deployed as a p

X-Ray es un framework de scraping web y crawler web asíncrono diseñado para extraer datos estructurados de sitios web. Funciona como un extractor de datos HTML que transforma el contenido de páginas sin formato en un esquema definido utilizando selectores de estilo CSS. El proyecto implementa un crawler de navegador headless capaz de ejecutar JavaScript para renderizar contenido dinámico. Maneja el descubrimiento de contenido de sitios web a través de una estrategia de rastreo en anchura y descubrimiento automático de paginación para recorrer conjuntos de resultados de múltiples páginas. El framework gestiona tuberías de datos web utilizando una cola de solicitudes con concurrencia limitada y control de tasa de solicitudes para regular las llamadas de red salientes. Los resultados extraídos se manejan mediante persistencia de datos basada en flujos para procesar grandes conjuntos de datos sin sobrecargar la memoria del sistema.

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

dlt es una herramienta de ingesta de datos en Python y framework de pipeline ETL diseñado para obtener datos de diversas fuentes y persistirlos en destinos estructurados. Funciona como un motor de inferencia de esquemas que detecta automáticamente tipos de datos y aplana estructuras JSON anidadas en tablas relacionales, moviendo datos desde fuentes a lakehouses, almacenes de datos o bases de datos vectoriales. El proyecto destaca por la generación de pipelines impulsada por IA, utilizando modelos de lenguaje de gran tamaño para crear código de extracción y conectores para APIs REST. También admite almacenamiento vectorial multimodal y población especializada de bases de datos vectoriales para soportar aplicaciones de IA y machine learning. El framework cubre una amplia gama de capacidades, incluyendo evolución automática de esquemas, carga incremental de datos mediante seguimiento de estado y validación de calidad de datos mediante la aplicación de contratos de datos. Proporciona herramientas para la normalización de datos relacionales, transformaciones pre y post-carga, y una variedad de adaptadores de destino para bases de datos SQL y almacenes de objetos en la nube. La observabilidad se maneja a través de paneles de ejecución de pipelines, seguimiento de linaje de columnas y verificación de versiones de esquema mediante hashes basados en contenido.

BigchainDB es un sistema de gestión de datos blockchain diseñado para almacenar grandes conjuntos de datos en un libro mayor distribuido mientras mantiene el rendimiento de consulta de una base de datos tradicional. Proporciona almacenamiento de registros inmutable para datos y activos digitales, asegurando un historial verificable de todas las entradas. El proyecto integra una estructura blockchain descentralizada con un respaldo de base de datos NoSQL para permitir una indexación eficiente y búsquedas de datos complejas. Utiliza un modelo de replicación de estado basado en consenso y registro de transacciones inmutable para evitar la alteración no autorizada de registros. El sistema expone el estado del libro mayor y las operaciones de escritura a través de una API JSON-RPC y streaming de datos basado en HTTP. Estas interfaces permiten la interacción programática y la recuperación de registros utilizando filtros y búsquedas.