Awesome GitHub RepositoriesSchema Registries

Zod is a TypeScript-first schema declaration and validation library designed to ensure end-to-end data integrity. It functions as a runtime type guard, allowing developers to define complex data structures through a declarative, chainable syntax. By using these schema definitions, the library automatically derives static TypeScript types, eliminating the need for manual type duplication and ensuring that runtime data matches expected application contracts. The library distinguishes itself through functional schema composition, which enables the creation of hierarchical structures by nesting a

RocketMQ is a cloud-native distributed messaging platform and streaming engine. It functions as a distributed transactional queue that ensures atomicity between local transactions and message delivery, and serves as an MQTT IoT message broker to bridge lightweight device traffic into high-performance data streams. The system is distinguished by a Kubernetes-native architecture that decouples compute from storage to allow independent scaling of traffic and data retention. It utilizes a tiered storage model to offload older data to remote storage and employs quorum-based replication and automat

Connect is a Kafka data integration platform and stream processing engine used to build declarative pipelines that move and transform messages between Kafka topics and external sources. It functions as a Kafka Connect framework and a change data capture tool, streaming real-time database modifications to synchronize data across distributed environments. The project differentiates itself through a dedicated mapping language for mutating and reshaping message payloads and the ability to execute custom processing logic within a sandboxed WebAssembly runtime. It also provides an observability pip

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Kafdrop هو واجهة قائمة على الويب لمراقبة وإدارة مجموعات Apache Kafka، والمواضيع (topics)، والوسطاء (brokers)، ومجموعات المستهلكين. يعمل كمراقب للمجموعة ومدير للمواضيع يوفر تمثيلاً مرئياً لصحة الوسيط، وتعيينات الأقسام، وتأخر مجموعة المستهلكين. يتضمن النظام متصفح رسائل قادراً على قراءة وفك تشفير ونشر الرسائل إلى مواضيع Kafka باستخدام سجلات المخططات (schema registries) أو ملفات الوصف. كما يوفر واجهة برمجة تطبيقات للبيانات الوصفية تعرض معلومات المجموعة من خلال نقاط نهاية JSON للتكامل مع أدوات المراقبة الخارجية. تغطي المنصة مجالات إدارية مثل إدارة دورة حياة المواضيع، والتدقيق الأمني لقوائم التحكم في الوصول، وإنشاء اتصالات وسيط مشفرة باستخدام شهادات TLS وبيانات اعتماد SASL. تشمل قدرات المراقبة تتبع الإزاحات (offsets) لكل قسم وحساب تأخر مجموعة المستهلكين.

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

kcat هو عميل واجهة سطر أوامر لـ Apache Kafka يُستخدم لإنتاج واستهلاك وتصحيح أخطاء الرسائل باستخدام بروتوكول الأسلاك الأصلي. يوفر مجموعة من الأدوات للتفاعل مع مجموعات Kafka، بما في ذلك مصحح بروتوكول لفحص بيانات تعريف المجموعة ومدير معاملات للتعامل مع دفعات الرسائل الذرية. يتميز المشروع بفك تشفير مخطط Avro متخصص يحول الرسائل المشفرة ثنائياً إلى JSON مقروء للبشر من خلال التكامل مع سجلات المخططات البعيدة أو الملفات المحلية. بالإضافة إلى ذلك، يتضمن محاكياً في الذاكرة يسمح باختبار منطق المنتج والمستهلك عن طريق محاكاة سلوك الوسيط المؤقت دون الحاجة إلى بنية تحتية خارجية. تغطي مجموعة الأدوات مجموعة واسعة من عمليات المراسلة، بما في ذلك دعم مجموعة المستهلكين المتوازنة، والبحث عن الإزاحة القائم على الطابع الزمني، وبث البيانات المعاملاتية من الإدخال القياسي. كما يوفر أدوات مساعدة لتكوين أمان الاتصال وفحص بيانات تعريف المجموعة.

AKHQ is a web-based management interface for Apache Kafka, providing a centralized platform for administering clusters, topics, and consumer groups. It serves as a comprehensive monitoring and administration tool that includes a Kafka Connect manager and a ksqlDB administration interface. The platform distinguishes itself through extensive schema registry integration, allowing users to browse and decode Avro, Protobuf, and JSON messages using Confluent, Tibco, or AWS Glue registries. It also features a granular security model with role-based access control, sensitive data masking, and support

franz-go is a low-level Go client library and wire protocol implementation for producing, consuming, and administering Kafka clusters. It functions as a zero-allocation network driver that utilizes a direct TCP communication layer to handle requests and responses. The project integrates a schema registry client for encoding and decoding structured data. It provides a programmatic interface for cluster administration, including the management of topics, access control lists, and broker configurations. The library covers data consumption through consumer groups, message production with transac