Awesome GitHub RepositoriesData Stream Integrations

DuckDB is an in-process analytical database engine designed to run directly within an application process. As a zero-dependency, embedded system, it provides enterprise-grade SQL data processing capabilities without the overhead of managing a dedicated database server. It is built to handle complex analytical and aggregation tasks by storing and retrieving information in columns, allowing for high-performance relational data manipulation. The engine distinguishes itself through a columnar vectorized execution model that maximizes CPU cache efficiency during query operations. It employs adapti

This project is a collection of educational resources and reference implementations for the Apache Flink stream processing framework. It provides a learning resource focused on mastering distributed stream processing through implementation guides, performance tuning tutorials, and practical examples. The repository features detailed walkthroughs for building real-time data pipelines using the DataStream and Table APIs. It includes specific integration examples for connecting Apache Flink with Kafka brokers and Elasticsearch indices, as well as reference implementations for real-time deduplica

Open MCT is a web-based framework designed for visualizing telemetry data and monitoring the health of complex systems. It provides a centralized environment for ingesting, processing, and displaying real-time and historical data streams through customizable operator dashboards. The platform is built on a modular architecture that allows for the integration of external data sources and the addition of custom features through a plugin system. By utilizing a hierarchical object-graph model and a unified interface for time-series data, the framework ensures that information is consistently repre

Redpanda is a distributed event streaming engine designed to serve as a high-performance, drop-in replacement for existing event-driven architectures. It provides a foundation for building and scaling applications that require reliable data movement, analytical querying, and strict operational compliance across both cloud and self-managed environments. The platform distinguishes itself through a shared-nothing architecture that utilizes thread-per-core execution and a non-blocking asynchronous input/output engine to maximize throughput. It maintains data consistency through a consensus-based

Orleans is a .NET distributed actor framework designed for building scalable, cloud-native applications. It implements a virtual actor model where entities with stable identities manage their own state and lifecycle across a cluster of servers. The framework provides a distributed state management system with ACID transaction support and a distributed pub/sub streaming engine for real-time data processing. It distinguishes itself through location-transparent routing, automatic actor activation and deactivation, and elastic cluster scaling that redistributes workloads during node failures. Th

Mage AI ist ein Python-basierter Daten-Pipeline-Orchestrator und eine selbstgehostete integrierte Entwicklungsumgebung (IDE) für Daten. Er ist darauf ausgelegt, Daten-Workflows mittels eines blockbasierten Pipeline-Designs und einer interaktiven Notebook-Schnittstelle zu erstellen, zu planen und zu überwachen. Die Plattform zeichnet sich durch die Integration generativer KI-Funktionen aus, die es Benutzern ermöglichen, Anbieter großer Sprachmodelle (LLMs) per API anzubinden, um künstliche Intelligenz in automatisierte Datenströme einzubinden. Sie fungiert zudem als Apache Spark-Datenprozessor und verwaltet die Kernels und die Infrastruktur, die für hochvolumige Analysen und groß angelegte Datenverarbeitung erforderlich sind. Das System deckt ein breites Spektrum an Data-Engineering-Funktionen ab, einschließlich ETL-Workflow-Automatisierung, dbt-Modellverwaltung und Datenstrom-Discovery. Es bietet Werkzeuge für die Versionskontrollintegration via Git, containerisierte Bereitstellung und rollenbasierte Zugriffskontrolle zur Verwaltung von Pipelines in Entwicklungs- und Produktionsumgebungen. Die Überwachung erfolgt durch System-Performance-Telemetrie und Pipeline-Ausführungs-Debugging.

Horizon is a realtime API server and RethinkDB backend designed to push database changes instantly to front-end clients. It utilizes a WebSocket data streaming API to synchronize data between the database and user interfaces without requiring manual polling. The project integrates an OAuth identity manager for verifying user identities through third-party providers and a role-based access control system to define granular permissions for viewing or modifying database documents. It is delivered as a containerized backend framework, allowing the server and its dependencies to be deployed as a p

X-Ray ist ein Web-Scraping-Framework und asynchroner Web-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Es fungiert als HTML-Datenextraktor, der rohe Seiteninhalte mittels CSS-artiger Selektoren in ein definiertes Schema transformiert. Das Projekt implementiert einen Headless-Browser-Crawler, der JavaScript ausführen kann, um dynamische Inhalte zu rendern. Es handhabt die Entdeckung von Website-Inhalten durch eine Breadth-First-Crawling-Strategie und automatische Paginierungserkennung, um mehrseitige Ergebnismengen zu durchlaufen. Das Framework verwaltet Web-Daten-Pipelines mittels einer Concurrency-limitierten Request-Queue und Request-Rate-Control, um ausgehende Netzwerkanrufe zu regulieren. Extrahierte Ergebnisse werden über Stream-basierte Datenpersistenz verarbeitet, um große Datensätze ohne Überlastung des Systemspeichers zu bewältigen.

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.

BigchainDB ist ein Blockchain-Datenmanagementsystem, das entwickelt wurde, um große Datensätze in einem verteilten Ledger zu speichern und gleichzeitig die Abfrageperformance einer traditionellen Datenbank beizubehalten. Es bietet unveränderliche Datensatzspeicherung für Daten und digitale Assets und stellt eine verifizierbare Historie aller Einträge sicher. Das Projekt integriert eine dezentrale Blockchain-Struktur mit einem NoSQL-Datenbank-Backend, um effiziente Indizierung und komplexe Datenabfragen zu ermöglichen. Es verwendet ein konsensbasiertes Zustandsreplikationsmodell und unveränderliches Transaktions-Logging, um unbefugte Datensatzänderungen zu verhindern. Das System macht den Ledger-Status und Schreiboperationen über eine JSON-RPC-API und HTTP-basiertes Daten-Streaming zugänglich. Diese Schnittstellen ermöglichen die programmatische Interaktion und den Abruf von Datensätzen unter Verwendung von Filtern und Lookups.