Awesome GitHub RepositoriesAvro Decoding

fq ist ein Command-Line-Binärdatenprozessor, der zum Dekodieren, Transformieren und Analysieren von Roh-Byte-Streams und Bit-Level-Daten in strukturierte Formate verwendet wird. Er fungiert als funktionale Binär-Query-Engine, die das Filtern und Mappen binärer Strukturen ermöglicht, sowie als Konverter, der komplexe Binär-Blobs und proprietäre Dateiformate in Standard-JSON, YAML oder XML übersetzt. Das Tool zeichnet sich als Low-Level-Bit-Manipulator aus, der Bit-Level-Slicing, bitweise Operationen und kryptografisches Hashing auf Rohdateien durchführen kann. Es dient zudem als Netzwerkprotokoll-Analysator mit der Fähigkeit, fragmentierte TCP-Streams wieder zusammenzusetzen und TLS-Traffic für die Inspektion auf Anwendungsebene zu entschlüsseln. Das Projekt deckt breite Funktionen in der Binär-Analyse und Datentransformation ab, einschließlich Unterstützung für benutzerdefinierte Decoder-Definitionen und eine breite Palette spezialisierter Formate wie Mach-O, ASN1 BER und Avro OCF. Es bietet Utilities für Binärbaum-Suche, strukturierte Textdekodierung und bidirektionale Serialisierung zwischen Binär- und Textformaten. Benutzer können über ein Command-Line-Interface und ein interaktives REPL für Echtzeit-Query-Tests mit dem System interagieren.

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

CloudEvents is an open specification for describing event data in a common format across cloud platforms and services. It defines a standard structure and set of metadata attributes for events, enabling interoperability across different systems so producers and consumers can exchange events without custom translation. The specification provides a protocol-agnostic serialization framework that maps CloudEvents attributes and payloads to multiple serialization formats including JSON, Avro, and Protobuf, and defines transport bindings for mapping events onto protocols like HTTP, AMQP, Kafka, MQTT

kcat ist ein Kommandozeilen-Client für Apache Kafka, der verwendet wird, um Nachrichten unter Verwendung des nativen Wire-Protokolls zu produzieren, zu konsumieren und zu debuggen. Er bietet eine Reihe von Tools für die Interaktion mit Kafka-Clustern, einschließlich eines Protokoll-Debuggers zur Untersuchung von Cluster-Metadaten und eines Transaktionsmanagers für die Handhabung atomarer Nachrichten-Batches. Das Projekt verfügt über einen spezialisierten Avro-Schema-Dekoder, der binär kodierte Nachrichten in menschenlesbares JSON umwandelt, indem er sich in Remote-Schema-Registries oder lokale Dateien integriert. Zusätzlich enthält es einen In-Memory-Simulator, der das Testen von Producer- und Consumer-Logik durch die Simulation ephemerer Broker-Verhaltensweisen ermöglicht, ohne dass eine externe Infrastruktur erforderlich ist. Das Toolset deckt ein breites Spektrum an Messaging-Operationen ab, einschließlich Unterstützung für ausbalancierte Consumer-Gruppen, zeitstempelbasierte Offset-Suche und transaktionales Daten-Streaming von der Standardeingabe. Zudem bietet es Dienstprogramme für die Konfiguration der Verbindungssicherheit und die Untersuchung von Cluster-Metadaten.

Racket ist eine Mehrzweck-Programmiersprache mit mehreren Paradigmen aus der Lisp-Familie, die für die Sprachschöpfung entwickelt wurde. Sie fungiert als Sprach-Workbench und bietet eine Plattform zum Entwerfen und Implementieren benutzerdefinierter Programmiersprachen durch ein flexibles System aus Makros und Modulen. Das System zeichnet sich durch eine umfassende Suite für Semantik-Engineering aus, die den Aufbau spezialisierter Sprach-Subsets und Bildungsschichten ermöglicht. Es enthält Tools für das Design benutzerdefinierter Sprachen, wie Lexer- und Parser-Generierung, sowie die Fähigkeit, Modul-Erweiterungsregeln und dynamische Sprachauswahl zur Lesezeit zu definieren. Das Projekt bietet eine integrierte Entwicklungsumgebung mit eingebautem Editor, visuellem Debugger und einem Software-Paketmanager. Die Funktionspalette erstreckt sich auf eine Standardbibliothek für allgemeine Zwecke, die 2D-Grafik-Rendering, Binärdatenverarbeitung, SQL- und deduktive Datenbankintegration sowie den Bau grafischer Benutzeroberflächen abdeckt. Die Umgebung unterstützt das Kompilieren von Quellcode in eigenständige ausführbare Dateien für die Distribution.

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

AKHQ is a web-based management interface for Apache Kafka, providing a centralized platform for administering clusters, topics, and consumer groups. It serves as a comprehensive monitoring and administration tool that includes a Kafka Connect manager and a ksqlDB administration interface. The platform distinguishes itself through extensive schema registry integration, allowing users to browse and decode Avro, Protobuf, and JSON messages using Confluent, Tibco, or AWS Glue registries. It also features a granular security model with role-based access control, sensitive data masking, and support