Awesome GitHub RepositoriesKafka

goim

JavaTutorial is a specialized knowledge base and set of study guides focused on backend engineering, the Java ecosystem, distributed systems, and database internals. It serves as a technical reference for engineers, providing structured learning paths and curated content designed for Java backend developer interview preparation. The resource distinguishes itself through deep-dive analyses of internal mechanics, including JVM memory management, garbage collection algorithms, and the internal architecture of the Spring Framework. It provides detailed studies on database internals specifically f

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafkacat est une suite d'utilitaires en ligne de commande pour interagir avec les clusters Apache Kafka. Il fournit un binaire non-JVM pour produire et consommer des messages, inspecter les métadonnées du cluster et déboguer le protocole Kafka via le terminal. L'outil fonctionne comme un producteur et un consommateur capable de pousser des données à partir de fichiers ou de l'entrée standard et de lire des messages à partir de sujets et de partitions spécifiques. Il inclut un inspecteur de métadonnées pour récupérer l'état du cluster et les configurations de partition en texte brut ou JSON, ainsi qu'un débogueur de protocole pour inspecter les offsets de message, les horodatages et les charges utiles binaires. Le projet couvre la désérialisation des données en utilisant des schémas ou des décodeurs primitifs et des requêtes basées sur l'offset pour récupérer des données à partir d'horodatages précis. Il fournit également des utilitaires de simulation pour exécuter des courtiers éphémères en mémoire pour les tests d'intégration et l'analyse comparative des performances.

Burrow est un service de monitoring et d'alerte pour les clusters Kafka. Il suit le lag des groupes de consommateurs en évaluant les offsets validés et en identifiant l'écart entre les messages produits et consommés. Le système calcule les délais de traitement en utilisant une évaluation d'offset par fenêtre glissante et surveille l'état de santé global du cluster. Lorsque les conditions des groupes de consommateurs atteignent des seuils prédéfinis, il déclenche des notifications vers des services externes via email ou webhooks. Le service fournit des endpoints HTTP pour interroger les informations des brokers et le statut des groupes de consommateurs, permettant aux outils externes d'interroger l'état de santé du système et les métriques de performance.