Awesome GitHub RepositoriesKafka

goim

JavaTutorial is a specialized knowledge base and set of study guides focused on backend engineering, the Java ecosystem, distributed systems, and database internals. It serves as a technical reference for engineers, providing structured learning paths and curated content designed for Java backend developer interview preparation. The resource distinguishes itself through deep-dive analyses of internal mechanics, including JVM memory management, garbage collection algorithms, and the internal architecture of the Spring Framework. It provides detailed studies on database internals specifically f

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafkacat es un conjunto de utilidades de línea de comandos para interactuar con clusters de Apache Kafka. Proporciona un binario no JVM para producir y consumir mensajes, inspeccionar metadatos del cluster y depurar el protocolo Kafka a través de la terminal. La herramienta funciona como un productor y consumidor capaz de enviar datos desde archivos o entrada estándar y leer mensajes de temas y particiones específicos. Incluye un inspector de metadatos para recuperar el estado del cluster y las configuraciones de partición en texto plano o JSON, así como un depurador de protocolos para inspeccionar offsets de mensajes, marcas de tiempo y cargas útiles binarias. El proyecto cubre la deserialización de datos utilizando esquemas o decodificadores primitivos y consultas basadas en offset para recuperar datos de marcas de tiempo precisas. También proporciona utilidades de simulación para ejecutar brokers efímeros en memoria para pruebas de integración y benchmarking de rendimiento.

Burrow es un servicio de monitoreo y alerta para clusters de Kafka. Rastrea el lag de los grupos de consumidores evaluando los offsets confirmados e identificando la brecha entre los mensajes producidos y consumidos. El sistema calcula los retrasos de procesamiento utilizando una evaluación de offset de ventana deslizante y monitorea el estado general del cluster. Cuando las condiciones del grupo de consumidores cumplen umbrales predefinidos, activa notificaciones a servicios externos mediante correo electrónico o webhooks. El servicio proporciona endpoints HTTP para consultar información del broker y el estado del grupo de consumidores, permitiendo que herramientas externas consulten el estado del sistema y las métricas de rendimiento.