3 مستودعات
Manually commit message offsets after processing to control exactly when progress is recorded in stream consumption.
Distinguishing note: No candidate covers manual offset committing in stream processing; closest candidates relate to VCS commit messages.
Explore 3 awesome GitHub repositories matching data & databases · Offset Commit Managers. Refine with filters or upvote what's useful.
Kafka library in Go
Provides explicit offset commit control for Kafka consumer progress tracking.
KafkaJS هو عميل JavaScript خالص لـ Apache Kafka، يوفر الأدوات اللازمة لإنتاج واستهلاك الرسائل من مجموعة Kafka دون الحاجة إلى تبعيات أصلية أو إضافات خارجية. يعمل كمكتبة تكامل شاملة لتطبيقات Node.js للمشاركة في معالجة الرسائل الموزعة وبث الأحداث في الوقت الفعلي. يتميز المشروع بتنفيذه الأصلي لبروتوكول سلك Kafka، متجنباً تبعيات C++. يتميز بعميل أمان يدعم مصادقة SSL وTLS وSASL، إلى جانب قدرات المعاملات التي تسمح بإرسال الرسائل الذري والالتزامات المرتبطة بالإزاحة لضمان المعالجة مرة واحدة بالضبط. تغطي المكتبة مجموعة واسعة من المجالات التشغيلية، بما في ذلك إدارة المجموعة الكاملة لإدارة المواضيع ومجموعات المستهلكين، واستراتيجيات توجيه وتعيين الأقسام المتقدمة، والقياس عن بعد الشامل عبر المراقبة القائمة على الأحداث. كما تنفذ أنماط موثوقية الشبكة مثل عمليات إعادة المحاولة ذات التراجع الأسي وجلب البيانات المدرك للرف لتحسين زمن الوصول.
Records processed message positions based on time intervals, message counts, or manual triggers.
Burrow هي خدمة مراقبة وتنبيه لمجموعات Kafka. تتتبع تأخر مجموعة المستهلكين (consumer group lag) من خلال تقييم الإزاحات الملتزم بها وتحديد الفجوة بين الرسائل المنتجة والمستهلكة. يحسب النظام تأخيرات المعالجة باستخدام تقييم إزاحة النافذة المنزلقة ويراقب صحة المجموعة بشكل عام. عندما تستوفي ظروف مجموعة المستهلكين عتبات محددة مسبقاً، فإنه يطلق إشعارات للخدمات الخارجية عبر البريد الإلكتروني أو webhooks. توفر الخدمة نقاط نهاية HTTP للاستعلام عن معلومات الوسيط وحالة مجموعة المستهلكين، مما يسمح للأدوات الخارجية باستطلاع صحة النظام ومقاييس الأداء.
Calculates consumer lag by tracking committed offsets over a specific time interval to detect processing delays.