Awesome GitHub RepositoriesOffset Commit Managers

Kafka library in Go

KafkaJS es un cliente de JavaScript puro para Apache Kafka, que proporciona las herramientas necesarias para producir y consumir mensajes de un clúster de Kafka sin requerir dependencias nativas o addons externos. Funciona como una biblioteca de integración integral para aplicaciones Node.js para participar en el procesamiento de mensajes distribuidos y streaming de eventos en tiempo real. El proyecto se distingue por su implementación nativa del protocolo de red de Kafka, evitando dependencias de C++. Cuenta con un cliente de seguridad que soporta autenticación SSL, TLS y SASL, junto con capacidades transaccionales que permiten el envío atómico de mensajes y compromisos de offset vinculados para asegurar un procesamiento exactamente una vez. La biblioteca cubre una amplia gama de áreas operativas, incluyendo administración completa de clústeres para gestionar temas y grupos de consumidores, estrategias avanzadas de enrutamiento y asignación de particiones, y telemetría integral mediante monitoreo basado en eventos. También implementa patrones de fiabilidad de red como reintentos con retroceso exponencial (exponential backoff) y obtención de datos consciente del rack para optimizar la latencia.

Burrow es un servicio de monitoreo y alerta para clusters de Kafka. Rastrea el lag de los grupos de consumidores evaluando los offsets confirmados e identificando la brecha entre los mensajes producidos y consumidos. El sistema calcula los retrasos de procesamiento utilizando una evaluación de offset de ventana deslizante y monitorea el estado general del cluster. Cuando las condiciones del grupo de consumidores cumplen umbrales predefinidos, activa notificaciones a servicios externos mediante correo electrónico o webhooks. El servicio proporciona endpoints HTTP para consultar información del broker y el estado del grupo de consumidores, permitiendo que herramientas externas consulten el estado del sistema y las métricas de rendimiento.