Awesome GitHub RepositoriesAvro Decoding

fq هو معالج بيانات ثنائية بسطر الأوامر يُستخدم لفك التشفير، والتحويل، وتحليل تدفقات البايت الخام والبيانات على مستوى البت إلى تنسيقات مهيكلة. يعمل كمحرك استعلام ثنائي وظيفي يسمح بتصفية وتعيين الهياكل الثنائية، بالإضافة إلى محول يترجم الكتل الثنائية المعقدة وتنسيقات الملفات المملوكة إلى JSON أو YAML أو XML قياسي. تتميز الأداة كمعالج بت منخفض المستوى قادر على إجراء تقطيع على مستوى البت، وعمليات منطقية على البت، وتجزئة مشفرة على الملفات الخام. كما تعمل كمحلل بروتوكول شبكة مع القدرة على إعادة تجميع تدفقات TCP المجزأة وفك تشفير حركة مرور TLS للفحص على مستوى التطبيق. يغطي المشروع قدرات واسعة في التحليل الثنائي وتحويل البيانات، بما في ذلك دعم تعريفات فك التشفير المخصصة ومجموعة واسعة من التنسيقات المتخصصة مثل Mach-O وASN1 BER وAvro OCF. ويوفر أدوات للبحث في الشجرة الثنائية، وفك تشفير النص المهيكل، والتسلسل ثنائي الاتجاه بين التنسيقات الثنائية والنصية. يمكن للمستخدمين التفاعل مع النظام من خلال واجهة سطر أوامر وREPL تفاعلي لاختبار الاستعلام في الوقت الفعلي.

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

CloudEvents is an open specification for describing event data in a common format across cloud platforms and services. It defines a standard structure and set of metadata attributes for events, enabling interoperability across different systems so producers and consumers can exchange events without custom translation. The specification provides a protocol-agnostic serialization framework that maps CloudEvents attributes and payloads to multiple serialization formats including JSON, Avro, and Protobuf, and defines transport bindings for mapping events onto protocols like HTTP, AMQP, Kafka, MQTT

kcat هو عميل واجهة سطر أوامر لـ Apache Kafka يُستخدم لإنتاج واستهلاك وتصحيح أخطاء الرسائل باستخدام بروتوكول الأسلاك الأصلي. يوفر مجموعة من الأدوات للتفاعل مع مجموعات Kafka، بما في ذلك مصحح بروتوكول لفحص بيانات تعريف المجموعة ومدير معاملات للتعامل مع دفعات الرسائل الذرية. يتميز المشروع بفك تشفير مخطط Avro متخصص يحول الرسائل المشفرة ثنائياً إلى JSON مقروء للبشر من خلال التكامل مع سجلات المخططات البعيدة أو الملفات المحلية. بالإضافة إلى ذلك، يتضمن محاكياً في الذاكرة يسمح باختبار منطق المنتج والمستهلك عن طريق محاكاة سلوك الوسيط المؤقت دون الحاجة إلى بنية تحتية خارجية. تغطي مجموعة الأدوات مجموعة واسعة من عمليات المراسلة، بما في ذلك دعم مجموعة المستهلكين المتوازنة، والبحث عن الإزاحة القائم على الطابع الزمني، وبث البيانات المعاملاتية من الإدخال القياسي. كما يوفر أدوات مساعدة لتكوين أمان الاتصال وفحص بيانات تعريف المجموعة.

Racket هي لغة برمجة متعددة النماذج للأغراض العامة من عائلة Lisp مصممة لإنشاء اللغات. تعمل كمنصة عمل للغة، حيث توفر بيئة لتصميم وتنفيذ لغات برمجة مخصصة من خلال نظام مرن من الماكرو والوحدات. يتميز النظام بتقديم مجموعة شاملة لهندسة الدلالات، مما يسمح ببناء مجموعات لغوية متخصصة وطبقات تعليمية. يتضمن أدوات لتصميم اللغات المخصصة، مثل إنشاء المحلل اللغوي (lexer and parser)، بالإضافة إلى القدرة على تحديد قواعد توسيع الوحدات واختيار اللغة الديناميكي في وقت القراءة. يوفر المشروع بيئة تطوير متكاملة مع محرر مدمج، ومصحح أخطاء مرئي، ومدير حزم برمجية. تمتد إمكانياته إلى مكتبة قياسية للأغراض العامة تغطي عرض الرسومات ثنائية الأبعاد، ومعالجة البيانات الثنائية، وتكامل SQL وقواعد البيانات الاستنتاجية، وبناء واجهات المستخدم الرسومية. تدعم البيئة تجميع الكود المصدري في ملفات تنفيذية مستقلة للتوزيع.

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg