3 dépôts
Awesome GitHub RepositoriesOffset Commit Managers
Manually commit message offsets after processing to control exactly when progress is recorded in stream consumption.
Distinguishing note: No candidate covers manual offset committing in stream processing; closest candidates relate to VCS commit messages.
Explore 3 awesome GitHub repositories matching data & databases · Offset Commit Managers. Refine with filters or upvote what's useful.
Awesome Offset Commit Managers GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- segmentio/kafka-go
segmentio/kafka-go
8,581Voir sur GitHubKafka library in Go
Provides explicit offset commit control for Kafka consumer progress tracking.
Goconsumergogolang - tulios/kafkajs
tulios/kafkajs
3,997Voir sur GitHubKafkaJS is a pure JavaScript client for Apache Kafka, providing the necessary tools to produce and consume messages from a Kafka cluster without requiring native dependencies or external addons. It functions as a comprehensive integration library for Node.js applications to engage in distributed message processing and real-time event streaming. The project is distinguished by its native implementation of the Kafka wire protocol, avoiding C++ dependencies. It features a security client supporting SSL, TLS, and SASL authentication, alongside transactional capabilities that allow for atomic mess
Records processed message positions based on time intervals, message counts, or manual triggers.
JavaScriptkafkakafka-clientnodejs - linkedin/burrow
linkedin/Burrow
3,954Voir sur GitHubBurrow est un service de monitoring et d'alerte pour les clusters Kafka. Il suit le lag des groupes de consommateurs en évaluant les offsets validés et en identifiant l'écart entre les messages produits et consommés. Le système calcule les délais de traitement en utilisant une évaluation d'offset par fenêtre glissante et surveille l'état de santé global du cluster. Lorsque les conditions des groupes de consommateurs atteignent des seuils prédéfinis, il déclenche des notifications vers des services externes via email ou webhooks. Le service fournit des endpoints HTTP pour interroger les informations des brokers et le statut des groupes de consommateurs, permettant aux outils externes d'interroger l'état de santé du système et les métriques de performance.
Calculates consumer lag by tracking committed offsets over a specific time interval to detect processing delays.
Go
