Awesome GitHub RepositoriesKafka Message Browsers

This project is a collection of educational resources and reference implementations for the Apache Flink stream processing framework. It provides a learning resource focused on mastering distributed stream processing through implementation guides, performance tuning tutorials, and practical examples. The repository features detailed walkthroughs for building real-time data pipelines using the DataStream and Table APIs. It includes specific integration examples for connecting Apache Flink with Kafka brokers and Elasticsearch indices, as well as reference implementations for real-time deduplica

kafka-ui is a web interface and centralized control plane for administering Apache Kafka clusters, topics, and brokers. It functions as a distributed message queue dashboard and orchestrator, allowing for the oversight of multiple distributed Kafka environments from a single management interface. The project provides dedicated tools for producing and inspecting messages within topics using various serialization and encoding formats. It includes a schema registry client for defining and versioning data schemas and a consumer monitoring dashboard to track offsets and calculate partition lag. T

This project provides a containerized distribution of Apache Kafka for deploying distributed messaging brokers and event streaming platforms. It functions as a cluster orchestrator that enables the launch of interconnected brokers to establish high-throughput data pipelines. The system uses environment variables to automate topic provisioning and configure broker parameters during the container boot sequence. It manages network listener mapping and advertised hostnames to facilitate client connectivity across different networks. Capability areas include cluster deployment, broker scaling man

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafdrop ist eine webbasierte Schnittstelle zur Überwachung und Verwaltung von Apache Kafka-Clustern, Topics, Brokern und Consumer-Groups. Es fungiert als Cluster-Monitor und Topic-Manager, der eine visuelle Darstellung des Broker-Status, der Partitionszuweisungen und des Consumer-Group-Lags bietet. Das System enthält einen Message-Browser, der Nachrichten aus Kafka-Topics lesen, dekodieren und veröffentlichen kann, wobei Schema-Registries oder Deskriptordateien verwendet werden. Es bietet zudem eine Metadaten-API, die Cluster-Informationen über JSON-Endpunkte für die Integration in externe Monitoring-Tools bereitstellt. Die Plattform deckt administrative Bereiche wie das Topic-Lifecycle-Management, Sicherheitsaudits von Access Control Lists (ACLs) und den Aufbau verschlüsselter Broker-Verbindungen mittels TLS-Zertifikaten und SASL-Anmeldedaten ab. Die Observability-Funktionen umfassen die Verfolgung von Offsets pro Partition und die Berechnung des Consumer-Group-Lags.

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

kafka-python is a pure-Python client library for Apache Kafka that implements the Kafka wire protocol directly, without any native bindings or JVM dependencies. It provides the core capabilities of a Kafka client: producing messages to topics, consuming records from topics, and administering cluster resources such as topics and partitions, all through a Pythonic API or command-line tools. The library distinguishes itself through its comprehensive support for advanced Kafka features. It includes an asynchronous producer with background batching for throughput, a consumer group rebalance protoc

kcat ist ein Kommandozeilen-Client für Apache Kafka, der verwendet wird, um Nachrichten unter Verwendung des nativen Wire-Protokolls zu produzieren, zu konsumieren und zu debuggen. Er bietet eine Reihe von Tools für die Interaktion mit Kafka-Clustern, einschließlich eines Protokoll-Debuggers zur Untersuchung von Cluster-Metadaten und eines Transaktionsmanagers für die Handhabung atomarer Nachrichten-Batches. Das Projekt verfügt über einen spezialisierten Avro-Schema-Dekoder, der binär kodierte Nachrichten in menschenlesbares JSON umwandelt, indem er sich in Remote-Schema-Registries oder lokale Dateien integriert. Zusätzlich enthält es einen In-Memory-Simulator, der das Testen von Producer- und Consumer-Logik durch die Simulation ephemerer Broker-Verhaltensweisen ermöglicht, ohne dass eine externe Infrastruktur erforderlich ist. Das Toolset deckt ein breites Spektrum an Messaging-Operationen ab, einschließlich Unterstützung für ausbalancierte Consumer-Gruppen, zeitstempelbasierte Offset-Suche und transaktionales Daten-Streaming von der Standardeingabe. Zudem bietet es Dienstprogramme für die Konfiguration der Verbindungssicherheit und die Untersuchung von Cluster-Metadaten.

Kafkacat ist eine Suite von Kommandozeilen-Dienstprogrammen für die Interaktion mit Apache Kafka-Clustern. Sie bietet ein Nicht-JVM-Binärprogramm zum Produzieren und Konsumieren von Nachrichten, zum Untersuchen von Cluster-Metadaten und zum Debuggen des Kafka-Protokolls über das Terminal. Das Tool fungiert als Producer und Consumer, der in der Lage ist, Daten aus Dateien oder der Standardeingabe zu pushen und Nachrichten aus spezifischen Topics und Partitionen zu lesen. Es enthält einen Metadaten-Inspektor zum Abrufen des Cluster-Status und der Partitionskonfigurationen in Klartext oder JSON sowie einen Protokoll-Debugger zur Untersuchung von Nachrichten-Offsets, Zeitstempeln und Binär-Payloads. Das Projekt deckt die Datendeserialisierung unter Verwendung von Schemas oder primitiven Dekodern sowie offsetbasierte Abfragen ab, um Daten von präzisen Zeitstempeln abzurufen. Zudem bietet es Simulationsdienstprogramme zum Ausführen ephemerer In-Memory-Broker für Integrationstests und Performance-Benchmarking.

Provider ist ein State-Management- und Dependency-Injection-Framework für Flutter. Es vereinfacht die gemeinsame Nutzung von Daten innerhalb eines Widget-Baums durch ein System, das die Injektion von Objekten und Services mit automatisiertem Lebenszyklus und Ressourcenbereinigung verwaltet. Das Framework zeichnet sich durch reaktive State-Container aus, die asynchrone Daten aus Streams und Futures direkt in den Komponentenbaum einbinden. Es unterstützt State-Derivation, wodurch neue Objekte basierend auf Werten aus mehreren Upstream-Providern konstruiert und synchronisiert werden können. Zur Performance-Optimierung bietet es selektive Rebuild-Filter und partielle State-Subscriptions, um Updates auf spezifische UI-Bereiche zu begrenzen. Die Bibliothek deckt breite Einsatzbereiche ab, darunter Interface-Mapping zur Entkopplung konkreter Implementierungen von abstrakten Interfaces sowie Provider-Komposition, um mehrere Dependency-Definitionen zu flachen und die Verschachtelung zu reduzieren. Zudem enthält sie Utilities für optionale Dependency-Resolution und die Erhaltung des App-Status während Hot-Reload-Zyklen.

Fluvio ist eine verteilte Event-Streaming-Plattform und eine Cloud-native Streaming-Engine, die für das Sammeln, Persistieren und Replizieren von Echtzeit-Datenströmen über einen verteilten Cluster hinweg entwickelt wurde. Sie fungiert als Echtzeit-Datenpipeline für den Aufbau zustandsbehafteter Workflows, die Daten zwischen externen Quellen und Senken aufnehmen, anreichern und exportieren. Die Plattform zeichnet sich durch die Verwendung von WebAssembly zur Ausführung kompilierter Module für In-Line-Datentransformationen und -filterung aus. Dies ermöglicht die Ausführung benutzerdefinierter Geschäftslogik, um Informationen während der Übertragung umzuformen, ohne den Cluster neu starten zu müssen. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich connector-basierter Datenaufnahme aus externen Protokollen, log-strukturierter unveränderlicher Speicherung mit Zero-Copy-IO und horizontaler Clusterskalierung. Es unterstützt die Erstellung komplexer ereignisgesteuerter Pipelines, die zustandsbehaftete Verarbeitung, fensterbasierte Aggregationen und partitionierte Datenverteilung nutzen. Die Engine kann als leichtgewichtiges Binärprogramm auf diversen Systemarchitekturen bereitgestellt werden, einschließlich ARM64-IoT-Geräten für die Datenverarbeitung am Edge.

Dies ist eine Go-Client-Bibliothek für Apache Kafka, die alle notwendigen Tools zum Produzieren und Konsumieren von Nachrichten über Kafka-Broker bereitstellt. Sie dient als Kafka-Client-Implementierung für Anwendungen, die Kafka für Echtzeit-Datenstreaming und Messaging integrieren. Die Bibliothek unterstützt validierte kryptografische Module, um sicherzustellen, dass Netzwerkverbindungen den föderalen Sicherheits- und Verschlüsselungsstandards für FIPS-Konformität entsprechen. Der Client bietet Funktionen für asynchrone Nachrichtenproduktion mit Zustellungsberichten sowie Nachrichtenverbrauch mittels balancierter Consumer-Gruppen und Regex-Abonnements über mehrere Topics hinweg.

FastStream is an asyncio message broker framework for building event-driven applications in Python. It provides a unified interface and a multi-broker messaging abstraction layer that translates generic producer and consumer calls into broker-specific APIs. The framework features a built-in dependency injection container and uses decorators to route messages to asynchronous handler functions. It includes a documentation generator that extracts channel definitions and message formats from code to produce standardized AsyncAPI specifications. The project supports integration with Kafka, Rabbit

KafkaJS ist ein reiner JavaScript-Client für Apache Kafka, der die notwendigen Tools bereitstellt, um Nachrichten aus einem Kafka-Cluster zu produzieren und zu konsumieren, ohne native Abhängigkeiten oder externe Addons zu erfordern. Er fungiert als umfassende Integrationsbibliothek für Node.js-Anwendungen, um an verteilter Nachrichtenverarbeitung und Echtzeit-Event-Streaming teilzunehmen. Das Projekt zeichnet sich durch seine native Implementierung des Kafka-Wire-Protokolls aus, wodurch C++-Abhängigkeiten vermieden werden. Es verfügt über einen Security-Client, der SSL-, TLS- und SASL-Authentifizierung unterstützt, sowie über transaktionale Funktionen, die atomares Nachrichten-Senden und verknüpfte Offset-Commitments ermöglichen, um Exactly-Once-Processing sicherzustellen. Die Bibliothek deckt ein breites Spektrum an operativen Bereichen ab, einschließlich vollständiger Cluster-Administration zur Verwaltung von Topics und Consumer-Groups, fortgeschrittenem Partition-Routing und Zuweisungsstrategien sowie umfassender Telemetrie durch event-gesteuertes Monitoring. Sie implementiert zudem Netzwerk-Zuverlässigkeitsmuster wie Exponential-Backoff-Retries und Rack-Aware-Data-Fetching, um die Latenz zu optimieren.

AKHQ is a web-based management interface for Apache Kafka, providing a centralized platform for administering clusters, topics, and consumer groups. It serves as a comprehensive monitoring and administration tool that includes a Kafka Connect manager and a ksqlDB administration interface. The platform distinguishes itself through extensive schema registry integration, allowing users to browse and decode Avro, Protobuf, and JSON messages using Confluent, Tibco, or AWS Glue registries. It also features a granular security model with role-based access control, sensitive data masking, and support

AWS Powertools for Python is a utility framework designed for building production-ready Python functions on AWS Lambda. It provides a comprehensive suite of tools for observability, event parsing, routing, and idempotency management to streamline the development of serverless applications. The project distinguishes itself through specialized capabilities for event-driven architectures and AI agent orchestration. It enables the implementation of AI agents by exposing functions as tools via OpenAPI schemas and managing conversation states. Additionally, it features an idempotency library that p