Awesome GitHub RepositoriesData Ingestion Pipelines

Apache Pulsar is a cloud-native distributed pub-sub messaging system designed for high-performance data ingestion. It functions as a geo-replicated data streamer and a multi-tenant event streaming platform, providing a serverless stream processing engine and a tiered storage messaging broker. The system distinguishes itself by separating serving layers from storage layers to allow independent scaling of compute and data retention. It features native geo-replication to synchronize messages across different geographical regions and employs a multi-layered tenant isolation model using authentica

Kafka Manager is a web-based management interface and monitoring tool for Apache Kafka clusters. It serves as a central control plane for topic administration, consumer monitoring, and cluster health inspection. The project provides specialized utilities for data rebalancing and partition reassignment to distribute workloads across brokers. It also includes tools to optimize partition leadership by electing preferred replicas. The platform covers a broad range of administrative capabilities, including the creation and configuration of message topics, tracking of consumer offsets, and the col

Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo

This project provides a containerized distribution of Apache Kafka for deploying distributed messaging brokers and event streaming platforms. It functions as a cluster orchestrator that enables the launch of interconnected brokers to establish high-throughput data pipelines. The system uses environment variables to automate topic provisioning and configure broker parameters during the container boot sequence. It manages network listener mapping and advertised hostnames to facilitate client connectivity across different networks. Capability areas include cluster deployment, broker scaling man

Kafkacat ist eine Suite von Kommandozeilen-Dienstprogrammen für die Interaktion mit Apache Kafka-Clustern. Sie bietet ein Nicht-JVM-Binärprogramm zum Produzieren und Konsumieren von Nachrichten, zum Untersuchen von Cluster-Metadaten und zum Debuggen des Kafka-Protokolls über das Terminal. Das Tool fungiert als Producer und Consumer, der in der Lage ist, Daten aus Dateien oder der Standardeingabe zu pushen und Nachrichten aus spezifischen Topics und Partitionen zu lesen. Es enthält einen Metadaten-Inspektor zum Abrufen des Cluster-Status und der Partitionskonfigurationen in Klartext oder JSON sowie einen Protokoll-Debugger zur Untersuchung von Nachrichten-Offsets, Zeitstempeln und Binär-Payloads. Das Projekt deckt die Datendeserialisierung unter Verwendung von Schemas oder primitiven Dekodern sowie offsetbasierte Abfragen ab, um Daten von präzisen Zeitstempeln abzurufen. Zudem bietet es Simulationsdienstprogramme zum Ausführen ephemerer In-Memory-Broker für Integrationstests und Performance-Benchmarking.

Rudder Server ist eine Customer Data Platform (CDP) und Event-Routing-Pipeline, die darauf ausgelegt ist, Kundendaten zu sammeln, zu transformieren und von verschiedenen Quellen an Data Warehouses und Business-Tools weiterzuleiten. Es fungiert als Customer-Identity-Resolver, der Identifikatoren aus mehreren Quellen verknüpft, um einen einheitlichen Identitätsgraphen und umfassende verhaltensbasierte Kundenprofile zu erstellen. Das System zeichnet sich durch Reverse-ETL-Funktionen aus, die verarbeitete Kundensegmente und Zielgruppen aus Data Warehouses zurück in operative Drittanbieteranwendungen pushen. Es bietet zudem eine containerisierte Datenebene für Kubernetes-Deployments, was die Verwaltung der Dateninfrastruktur als Code ermöglicht. Die Plattform deckt eine breite Palette von Datenmanagement-Funktionen ab, einschließlich Echtzeit-Event-Transformation, Schema-Validierung via Datenkatalogen und Privacy-Governance. Dazu gehören Tools zur Verwaltung der Benutzereinwilligung, zur Durchsetzung der Datenresidenz innerhalb spezifischer geografischer Regionen und zur Maskierung personenbezogener Daten während der Übertragung. Installation und Deployment der Datenebenen-Komponenten werden mittels Helm-Charts verwaltet.

Iggy is a distributed message streaming platform and multi-protocol message broker that functions as a persistent distributed log store. It provides infrastructure for publishing and consuming binary messages using an append-only log, ensuring high availability and data consistency across nodes through Viewstamped Replication. The platform is distinguished by its specialized LLM streaming infrastructure, which uses a server protocol to connect large language models to streaming data and system controls. This includes standardized protocols for context management and data bridging via HTTP or

Dieses Projekt ist eine AWS-Pandas-Integrationsbibliothek und ein Daten-Pipeline-Framework, das entwickelt wurde, um die Bewegung und Transformation von Daten zwischen lokalem Speicher und AWS-Speicher- und Analysediensten zu vereinfachen. Es fungiert als Cloud-Data-Lake-Toolkit und Storage-File-Manager, der es Nutzern ermöglicht, strukturierte Daten über verschiedene Cloud-Umgebungen hinweg zu lesen, zu schreiben und zu transformieren. Die Bibliothek zeichnet sich als verteilter Compute-Orchestrator aus, der Cluster in Umgebungen wie EMR verwalten kann, um Datensätze zu verarbeiten, die die Speichergrenzen einer einzelnen Maschine überschreiten. Sie bietet zudem spezialisierte Funktionen zur Verwaltung von Vektor-Indizes und zur Durchführung von Ähnlichkeitssuchen innerhalb von Cloud-Storage-Buckets. Die breiteren Funktionen umfassen Cloud-Datenbank-ETL für Dienste wie DynamoDB, RDS und Timestream sowie Cloud-Data-Catalog-Management via AWS Glue. Sie unterstützt serverlose Datenanalyse durch Athena und Redshift und bietet Utilities zur Verwaltung von S3-Objekten, zur Indexierung von Dokumenten in OpenSearch und zur Analyse von CloudWatch-Logs.

Scribe ist ein verteiltes Log-Aggregationssystem, das entwickelt wurde, um Echtzeit-Logdaten von zahlreichen Servern zu sammeln und an zentralen Speicher oder Analysetools weiterzuleiten. Es fungiert als Log-Daten-Pipeline und skalierbarer Collector, der Streaming-Daten erfasst und auf lokale Festplatten oder entfernte Endpunkte schreibt. Das System verwendet ein Log-Routing-Server-Modell, das eingehende Streams basierend auf vordefinierten Konfigurationsmappings in spezifische Buckets organisiert. Es unterstützt Multi-Hop-Log-Forwarding, wodurch Daten über eine Kette von Zwischenservern geleitet werden können, um Logs aus diversen Netzwerksegmenten zu zentralisieren. Zuverlässigkeit und Beobachtbarkeit werden durch lokales Festplatten-Buffering verwaltet, das ausgehende Nachrichten bei Netzwerkausfällen speichert, um Datenverlust zu verhindern, sowie durch zählerbasiertes Health-Monitoring, um interne Nachrichtenzahlen und den Erfolg der Zustellung zu verfolgen. Die Architektur umfasst zudem asynchrones Nachrichten-Streaming und zentralisiertes Log-Routing, um hochdurchsatzfähige Datenströme über ein Netzwerk hinweg zu verwalten.

ingestr is a command-line tool for copying and syncing data between different database engines and third-party platforms without writing custom code. It functions as an ETL pipeline utility that extracts data from diverse sources and loads it into destinations. The tool features a schema-agnostic data loader that maps source fields to destination columns dynamically, removing the need for predefined static table definitions. It also operates as an incremental data synchronizer, updating destination tables by appending new records or merging changes to maintain current datasets. The system pr

DEPRECATED: Data collection and processing made easy.

Node.js client for Apache Kafka 0.8 and later.

A distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management for both streaming and batch data ecosystems.

A distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management for both streaming and batch data ecosystems.

Secor is a service implementing Kafka log persistence

Build data pipelines with SQL and Python, ingest data from different sources, add quality checks, and build end-to-end flows.

The Apache Kafka C/C++ library

Netflix's distributed Data Pipeline

Build platforms that flexibly mix SQL, batch, and stream processing paradigms

A probabilistic data structure service and storage