Awesome GitHub RepositoriesKafka

goim

JavaTutorial is a specialized knowledge base and set of study guides focused on backend engineering, the Java ecosystem, distributed systems, and database internals. It serves as a technical reference for engineers, providing structured learning paths and curated content designed for Java backend developer interview preparation. The resource distinguishes itself through deep-dive analyses of internal mechanics, including JVM memory management, garbage collection algorithms, and the internal architecture of the Spring Framework. It provides detailed studies on database internals specifically f

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafkacat هي مجموعة من أدوات سطر الأوامر للتفاعل مع مجموعات Apache Kafka. توفر ثنائياً غير JVM لإنتاج واستهلاك الرسائل، وفحص بيانات تعريف المجموعة، وتصحيح أخطاء بروتوكول Kafka عبر الطرفية. تعمل الأداة كمنتج ومستهلك قادر على دفع البيانات من الملفات أو الإدخال القياسي وقراءة الرسائل من مواضيع وأقسام محددة. تتضمن مفتشاً لبيانات التعريف لاسترجاع حالة المجموعة وتكوينات الأقسام بنص عادي أو JSON، بالإضافة إلى مصحح بروتوكول لفحص إزاحات الرسائل، والطوابع الزمنية، والحمولات الثنائية. يغطي المشروع فك تسلسل البيانات باستخدام المخططات أو فك التشفير البدائي والاستعلام القائم على الإزاحة لاسترجاع البيانات من طوابع زمنية دقيقة. كما يوفر أدوات محاكاة لتشغيل وسطاء مؤقتين في الذاكرة لاختبار التكامل وقياس الأداء.

Burrow هي خدمة مراقبة وتنبيه لمجموعات Kafka. تتتبع تأخر مجموعة المستهلكين (consumer group lag) من خلال تقييم الإزاحات الملتزم بها وتحديد الفجوة بين الرسائل المنتجة والمستهلكة. يحسب النظام تأخيرات المعالجة باستخدام تقييم إزاحة النافذة المنزلقة ويراقب صحة المجموعة بشكل عام. عندما تستوفي ظروف مجموعة المستهلكين عتبات محددة مسبقاً، فإنه يطلق إشعارات للخدمات الخارجية عبر البريد الإلكتروني أو webhooks. توفر الخدمة نقاط نهاية HTTP للاستعلام عن معلومات الوسيط وحالة مجموعة المستهلكين، مما يسمح للأدوات الخارجية باستطلاع صحة النظام ومقاييس الأداء.