14 مستودعات
Formats and methods for encoding and decoding data for storage or transmission.
Distinguishing note: Focuses on JSON processing.
Explore 14 awesome GitHub repositories matching data & databases · Data Serialization. Refine with filters or upvote what's useful.
This project is a structured educational resource designed to guide developers through the mastery of the JavaScript programming language. It utilizes a progressive curriculum that organizes technical concepts into a daily learning path, allowing students to build foundational knowledge before advancing to complex application development. The resource distinguishes itself through a hands-on training model that combines detailed explanations with practical code challenges. By focusing on an interactive learning experience, it reinforces core language principles—such as data types, functional p
Covers JSON data processing for web applications.
This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for
Provides mechanisms to store and reload complex datasets and models to disk for persistent research workflows.
Avalonia is a cross-platform desktop framework that enables the creation of native-feeling applications for Windows, macOS, and Linux from a single codebase. It functions as a declarative UI toolkit, allowing developers to define complex visual hierarchies and interface structures using a markup-based syntax that maps directly to underlying object properties. By utilizing the Model-View-ViewModel architectural pattern, the framework facilitates a clean separation between application logic and user interface layout, which simplifies unit testing and component maintenance. The framework disting
Serializes and deserializes clipboard data using custom mechanisms to handle object data.
This project is a generative speech synthesis engine that converts text into high-fidelity human speech. It utilizes a two-stage autoregressive transformer architecture that separates semantic token prediction from acoustic detail reconstruction to balance linguistic accuracy with audio quality. The system is designed to support multilingual output and conversational AI development, enabling the generation of context-aware speech that maintains flow across multiple dialogue turns. The platform distinguishes itself through a production-ready inference server that employs continuous batching to
Provides utilities to pack audio and text data into structured formats for training.
Sanic is an asynchronous Python web framework designed for building high-performance APIs and services. It operates as a production-ready ASGI web server, utilizing a non-blocking event loop to handle concurrent requests and maximize throughput. The framework is built to support scalable architectures, offering built-in worker process management to distribute traffic across available CPU cores. What distinguishes Sanic is its focus on modularity and developer-centric tooling. It features a blueprint-based system for organizing complex applications into pluggable components, alongside a robust
Defines custom functions for serializing and deserializing data formats like JSON to meet specific requirements.
fq هو معالج بيانات ثنائية بسطر الأوامر يُستخدم لفك التشفير، والتحويل، وتحليل تدفقات البايت الخام والبيانات على مستوى البت إلى تنسيقات مهيكلة. يعمل كمحرك استعلام ثنائي وظيفي يسمح بتصفية وتعيين الهياكل الثنائية، بالإضافة إلى محول يترجم الكتل الثنائية المعقدة وتنسيقات الملفات المملوكة إلى JSON أو YAML أو XML قياسي. تتميز الأداة كمعالج بت منخفض المستوى قادر على إجراء تقطيع على مستوى البت، وعمليات منطقية على البت، وتجزئة مشفرة على الملفات الخام. كما تعمل كمحلل بروتوكول شبكة مع القدرة على إعادة تجميع تدفقات TCP المجزأة وفك تشفير حركة مرور TLS للفحص على مستوى التطبيق. يغطي المشروع قدرات واسعة في التحليل الثنائي وتحويل البيانات، بما في ذلك دعم تعريفات فك التشفير المخصصة ومجموعة واسعة من التنسيقات المتخصصة مثل Mach-O وASN1 BER وAvro OCF. ويوفر أدوات للبحث في الشجرة الثنائية، وفك تشفير النص المهيكل، والتسلسل ثنائي الاتجاه بين التنسيقات الثنائية والنصية. يمكن للمستخدمين التفاعل مع النظام من خلال واجهة سطر أوامر وREPL تفاعلي لاختبار الاستعلام في الوقت الفعلي.
Decodes Avro Object Container Format files using compression codecs to inspect stored data.
RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen
Parses Avro-serialized data using a schema registry to enable seamless data exchange between different languages.
Materialize is a streaming SQL database that continuously ingests live data from sources such as Kafka, Redpanda, PostgreSQL, and MySQL, and incrementally maintains materialized views. It provides a PostgreSQL-compatible query engine that accepts standard SQL over the PostgreSQL wire protocol, enabling any existing SQL client or BI tool to query real-time data. The system also includes a Model Context Protocol (MCP) server that exposes live materialized view data to AI agents, providing fresh context without polling. Materialize distinguishes itself through its ability to offer configurable c
Decodes Avro messages from Kafka topics using Confluent Schema Registry schemas for typed SQL columns.
Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac
Reads and writes Avro-encoded data as Hive tables, inferring the table schema from the Avro schema and supporting nested structures.
CloudEvents is an open specification for describing event data in a common format across cloud platforms and services. It defines a standard structure and set of metadata attributes for events, enabling interoperability across different systems so producers and consumers can exchange events without custom translation. The specification provides a protocol-agnostic serialization framework that maps CloudEvents attributes and payloads to multiple serialization formats including JSON, Avro, and Protobuf, and defines transport bindings for mapping events onto protocols like HTTP, AMQP, Kafka, MQTT
Defines the type mapping table for serializing CloudEvents attributes into Avro primitives.
kcat هو عميل واجهة سطر أوامر لـ Apache Kafka يُستخدم لإنتاج واستهلاك وتصحيح أخطاء الرسائل باستخدام بروتوكول الأسلاك الأصلي. يوفر مجموعة من الأدوات للتفاعل مع مجموعات Kafka، بما في ذلك مصحح بروتوكول لفحص بيانات تعريف المجموعة ومدير معاملات للتعامل مع دفعات الرسائل الذرية. يتميز المشروع بفك تشفير مخطط Avro متخصص يحول الرسائل المشفرة ثنائياً إلى JSON مقروء للبشر من خلال التكامل مع سجلات المخططات البعيدة أو الملفات المحلية. بالإضافة إلى ذلك، يتضمن محاكياً في الذاكرة يسمح باختبار منطق المنتج والمستهلك عن طريق محاكاة سلوك الوسيط المؤقت دون الحاجة إلى بنية تحتية خارجية. تغطي مجموعة الأدوات مجموعة واسعة من عمليات المراسلة، بما في ذلك دعم مجموعة المستهلكين المتوازنة، والبحث عن الإزاحة القائم على الطابع الزمني، وبث البيانات المعاملاتية من الإدخال القياسي. كما يوفر أدوات مساعدة لتكوين أمان الاتصال وفحص بيانات تعريف المجموعة.
Transforms binary Avro message keys and values into human-readable JSON text.
Racket هي لغة برمجة متعددة النماذج للأغراض العامة من عائلة Lisp مصممة لإنشاء اللغات. تعمل كمنصة عمل للغة، حيث توفر بيئة لتصميم وتنفيذ لغات برمجة مخصصة من خلال نظام مرن من الماكرو والوحدات. يتميز النظام بتقديم مجموعة شاملة لهندسة الدلالات، مما يسمح ببناء مجموعات لغوية متخصصة وطبقات تعليمية. يتضمن أدوات لتصميم اللغات المخصصة، مثل إنشاء المحلل اللغوي (lexer and parser)، بالإضافة إلى القدرة على تحديد قواعد توسيع الوحدات واختيار اللغة الديناميكي في وقت القراءة. يوفر المشروع بيئة تطوير متكاملة مع محرر مدمج، ومصحح أخطاء مرئي، ومدير حزم برمجية. تمتد إمكانياته إلى مكتبة قياسية للأغراض العامة تغطي عرض الرسومات ثنائية الأبعاد، ومعالجة البيانات الثنائية، وتكامل SQL وقواعد البيانات الاستنتاجية، وبناء واجهات المستخدم الرسومية. تدعم البيئة تجميع الكود المصدري في ملفات تنفيذية مستقلة للتوزيع.
Implements Avro Object Container Format processing with support for block-size tuning and compression.
Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg
Arroyo reads and writes Avro binary data, supporting Confluent Schema Registry and flexible serialization modes for schema distribution.
AKHQ is a web-based management interface for Apache Kafka, providing a centralized platform for administering clusters, topics, and consumer groups. It serves as a comprehensive monitoring and administration tool that includes a Kafka Connect manager and a ksqlDB administration interface. The platform distinguishes itself through extensive schema registry integration, allowing users to browse and decode Avro, Protobuf, and JSON messages using Confluent, Tibco, or AWS Glue registries. It also features a granular security model with role-based access control, sensitive data masking, and support
Translates binary Avro data into human-readable formats using schema registries or local files.