Awesome GitHub RepositoriesKafka

goim

JavaTutorial is a specialized knowledge base and set of study guides focused on backend engineering, the Java ecosystem, distributed systems, and database internals. It serves as a technical reference for engineers, providing structured learning paths and curated content designed for Java backend developer interview preparation. The resource distinguishes itself through deep-dive analyses of internal mechanics, including JVM memory management, garbage collection algorithms, and the internal architecture of the Spring Framework. It provides detailed studies on database internals specifically f

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafkacat ist eine Suite von Kommandozeilen-Dienstprogrammen für die Interaktion mit Apache Kafka-Clustern. Sie bietet ein Nicht-JVM-Binärprogramm zum Produzieren und Konsumieren von Nachrichten, zum Untersuchen von Cluster-Metadaten und zum Debuggen des Kafka-Protokolls über das Terminal. Das Tool fungiert als Producer und Consumer, der in der Lage ist, Daten aus Dateien oder der Standardeingabe zu pushen und Nachrichten aus spezifischen Topics und Partitionen zu lesen. Es enthält einen Metadaten-Inspektor zum Abrufen des Cluster-Status und der Partitionskonfigurationen in Klartext oder JSON sowie einen Protokoll-Debugger zur Untersuchung von Nachrichten-Offsets, Zeitstempeln und Binär-Payloads. Das Projekt deckt die Datendeserialisierung unter Verwendung von Schemas oder primitiven Dekodern sowie offsetbasierte Abfragen ab, um Daten von präzisen Zeitstempeln abzurufen. Zudem bietet es Simulationsdienstprogramme zum Ausführen ephemerer In-Memory-Broker für Integrationstests und Performance-Benchmarking.

Burrow ist ein Überwachungs- und Alarmierungsdienst für Kafka-Cluster. Er verfolgt den Consumer-Group-Lag durch Auswertung der committeten Offsets und Identifizierung der Lücke zwischen produzierten und konsumierten Nachrichten. Das System berechnet Verarbeitungsverzögerungen unter Verwendung einer Sliding-Window-Offset-Auswertung und überwacht die allgemeine Cluster-Gesundheit. Wenn die Bedingungen der Consumer-Gruppe vordefinierte Schwellenwerte erreichen, löst es Benachrichtigungen an externe Dienste via E-Mail oder Webhooks aus. Der Dienst bietet HTTP-Endpunkte für die Abfrage von Broker-Informationen und dem Status der Consumer-Gruppe, wodurch externe Tools den Systemzustand und Leistungsmetriken abfragen können.