Awesome GitHub RepositoriesOffset Commit Managers

Kafka library in Go

KafkaJS ist ein reiner JavaScript-Client für Apache Kafka, der die notwendigen Tools bereitstellt, um Nachrichten aus einem Kafka-Cluster zu produzieren und zu konsumieren, ohne native Abhängigkeiten oder externe Addons zu erfordern. Er fungiert als umfassende Integrationsbibliothek für Node.js-Anwendungen, um an verteilter Nachrichtenverarbeitung und Echtzeit-Event-Streaming teilzunehmen. Das Projekt zeichnet sich durch seine native Implementierung des Kafka-Wire-Protokolls aus, wodurch C++-Abhängigkeiten vermieden werden. Es verfügt über einen Security-Client, der SSL-, TLS- und SASL-Authentifizierung unterstützt, sowie über transaktionale Funktionen, die atomares Nachrichten-Senden und verknüpfte Offset-Commitments ermöglichen, um Exactly-Once-Processing sicherzustellen. Die Bibliothek deckt ein breites Spektrum an operativen Bereichen ab, einschließlich vollständiger Cluster-Administration zur Verwaltung von Topics und Consumer-Groups, fortgeschrittenem Partition-Routing und Zuweisungsstrategien sowie umfassender Telemetrie durch event-gesteuertes Monitoring. Sie implementiert zudem Netzwerk-Zuverlässigkeitsmuster wie Exponential-Backoff-Retries und Rack-Aware-Data-Fetching, um die Latenz zu optimieren.

Burrow ist ein Überwachungs- und Alarmierungsdienst für Kafka-Cluster. Er verfolgt den Consumer-Group-Lag durch Auswertung der committeten Offsets und Identifizierung der Lücke zwischen produzierten und konsumierten Nachrichten. Das System berechnet Verarbeitungsverzögerungen unter Verwendung einer Sliding-Window-Offset-Auswertung und überwacht die allgemeine Cluster-Gesundheit. Wenn die Bedingungen der Consumer-Gruppe vordefinierte Schwellenwerte erreichen, löst es Benachrichtigungen an externe Dienste via E-Mail oder Webhooks aus. Der Dienst bietet HTTP-Endpunkte für die Abfrage von Broker-Informationen und dem Status der Consumer-Gruppe, wodurch externe Tools den Systemzustand und Leistungsmetriken abfragen können.