Awesome GitHub RepositoriesHigh-Performance Binary Serialization

CapnProto is a zero-copy serialization framework and remote procedure call system. It serves as a C++ communication library providing a schema-based data interchange format that eliminates the need to encode or decode data before reading it from memory. The system enables high-performance data serialization and low-latency network communication. It supports cross-language data exchange by using a defined schema to ensure consistent binary representation across different platforms. The framework provides tools for implementing remote procedure calls, allowing functions to be invoked on a remo

ET is a C# game server framework and distributed actor model runtime designed for large-scale multiplayer environments. It provides a comprehensive toolkit for building distributed game backends, incorporating a multiplayer network transport layer and a specialized suite for game AI and pathfinding. The framework is distinguished by its use of a distributed actor model to scale processing across multiple threads and servers, utilizing isolated actors for state management and messaging. It features a unified codebase architecture that allows shared logic between the server and client, enabling

Jackson is a Java data binding framework and multi-format data serializer used to translate data structures into native language objects. It functions as a JSON data binding library and a streaming parser that reads and writes data as discrete tokens to process large datasets with minimal memory. The project distinguishes itself through a bytecode serialization accelerator that replaces standard reflection with generated bytecode to increase data binding speed. It employs a module-based extensibility model to support a wide range of formats beyond JSON, including XML, YAML, CSV, TOML, and bin

ArduinoJson is a C++ library for parsing and manipulating JSON data and MessagePack binary streams on microcontrollers with limited memory and processing power. It provides the core primitives necessary for embedded data serialization and parsing, enabling devices to exchange structured data over serial or network interfaces. The library is distinguished by its focus on microcontroller memory management, employing strategies such as pool-based allocation, string deduplication, and non-owning string views to minimize RAM usage. It further optimizes for constrained environments by allowing cons

MessagePack-CSharp is a high-performance binary serialization library for .NET applications that converts object graphs into the MessagePack format. It functions as a C# data serialization toolkit and a polymorphic binary encoder capable of handling abstract classes and interfaces using union keys to identify concrete derived types. The library provides a binary format transcoder to transform binary data into human-readable JSON for debugging. It supports ahead-of-time formatter generation to avoid runtime overhead and implements LZ4 binary compression to reduce the size of serialized data.

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it

This project is a Protocol Buffers Go compiler and code generation framework that translates schema definitions into optimized Go structures and reflection-free serialization methods. It includes a gRPC service generator for producing client and server communication code and a serialization performance toolkit for generating automated benchmarks and test suites. The framework features a plugin-based system for transforming data definitions into source code with custom field mapping and struct tag injection. It allows for custom type mapping and struct type overriding to link data fields to sp

PartyKit is a serverless WebSocket backend platform for building real-time multiplayer applications. It provides a globally distributed edge computing runtime that runs stateful server code close to users, with automatic scaling and hibernation for idle rooms. The platform handles WebSocket connections, HTTP requests, and durable storage without requiring infrastructure management, and includes a client and server SDK with hooks, storage, and Yjs integration for building collaborative features. The platform distinguishes itself through per-room isolation using Durable Objects, where each uniq

FastStream is an asynchronous Python framework designed for building event-driven microservices. It provides a unified abstraction layer for interacting with various message brokers, enabling developers to manage event production and consumption through a consistent interface while maintaining access to native provider-specific features. The framework centers on a decorator-based routing model that binds application logic directly to broker topics, supported by a built-in dependency injection container that resolves resources at runtime. The framework distinguishes itself through its deep int

LoopBack Next هو إطار عمل API لـ Node.js يستخدم لبناء واجهات برمجة تطبيقات REST ومتعددة البروتوكولات. يعمل كتنفيذ لخادم OpenAPI يمكنه إما إنشاء مواصفات قابلة للقراءة آلياً من الكود أو إنتاج وحدات تحكم ونماذج تنفيذ من مواصفات موجودة. يتميز إطار العمل بحاوية حقن تبعية مركزية وطبقة وصول للبيانات تعتمد على نمط المستودع (repository pattern). تفصل هذه البنية منطق التطبيق عن بناء المكونات والتخزين الدائم، مما يسمح بنظام قابل للتوصيل حيث يتم عزل مصادر البيانات ومنطق الأعمال من خلال نظام موصل موحد. يغطي المشروع مجموعة واسعة من الإمكانات بما في ذلك التحكم في الوصول القائم على الأدوار مع استراتيجيات مصادقة قابلة للتوصيل وتنسيق خدمات REST و SOAP الخارجية. كما يوفر أدوات للاتصال في الوقت الفعلي عبر نقاط نهاية WebSocket، والتحقق من صحة مخطط JSON، وسقالات المشروع الآلية من خلال واجهة سطر أوامر. يتم دعم التطوير من خلال مجموعة من أدوات CLI لبدء التطبيقات، وإنشاء مكونات API، وإدارة تبعيات المشروع.

MemoryPack is a high-performance binary serialization library for C# and Unity. It provides a zero-allocation data pipeline and a schema-evolution framework designed to minimize memory allocations and encoding overhead. The project utilizes compile-time source generators to avoid runtime reflection and implements a zero-encoding binary format for maximum throughput. It distinguishes itself through a zero-allocation approach that reuses object instances to reduce garbage collection pressure and copies the memory layout of unmanaged structs directly to binary streams. The library covers binary

Fury هو إطار عمل تسلسلي ثنائي متعدد اللغات مصمم لتشفير كائنات المجال والرسوم البيانية المعقدة لتسهيل تبادل البيانات عبر اللغات. يتضمن مترجم لغة تعريف الواجهة (IDL) الذي يترجم تعريفات المخطط إلى أنواع أصلية اصطلاحية ونصوص تسلسلية عبر لغات متعددة. يتميز المشروع بقارئ ثنائي بدون نسخ (zero-copy) يسمح بالوصول إلى حقول محددة دون إلغاء تسلسل الكائن بالكامل، بالإضافة إلى مسلسل رسوم بيانية للكائنات يحافظ على المراجع الدائرية وسلامة المراجع. كما يتميز بمحول بيانات يحول البيانات الثنائية القائمة على الصفوف إلى تنسيقات Apache Arrow القائمة على الأعمدة لأحمال العمل التحليلية. يغطي إطار العمل مجالات قدرة واسعة بما في ذلك تطور المخطط القائم على البيانات الوصفية للتوافق للأمام وللخلف، وعملية تجميع AOT في وقت البناء للقضاء على الانعكاس في وقت التشغيل، وإلغاء التسلسل الآمن عبر التحقق من النوع القائم على القائمة البيضاء. كما يوفر تكاملاً لاستدعاءات الإجراءات عن بُعد عالية الأداء من خلال gRPC.

Fory is a cross-language serialization framework and binary data serializer designed to convert complex object graphs into a compact binary format for high-performance data exchange. It includes an IDL-based schema compiler to transform interface definition language files into type-safe native data models and a schema evolution manager to maintain forward and backward compatibility. The project features a zero-copy data access layer that allows reading specific fields from binary rows without deserializing the entire object. It supports dual-mode serialization, enabling a toggle between a por

Project-graph هو مساحة عمل مرئية مصممة لإدارة المعلومات المعقدة من خلال رسوم بيانية معرفية قائمة على العقد. يوفر واجهة معالجة مباشرة تسمح للمستخدمين بتنظيم البيانات في شبكات منطقية، ورسم خرائط للأفكار غير الخطية وسير عمل المشاريع من خلال عقد مترابطة وروابط ثنائية الاتجاه. يتميز النظام بنموذج إدارة حالة يعتمد على الأحداث (event-sourced) يسجل كل تعديل كإجراء منفصل، مما يتيح قدرات دقيقة للتراجع والإعادة. يتضمن محرك تخطيط تفاعلي يحسب تلقائياً تباعد العقد ومسارات الاتصال أثناء التفاعل للحفاظ على الوضوح البصري ومنع تداخل العناصر. تدعم المنصة إدارة معرفية مرئية شاملة، بما في ذلك أدوات لتسمية الاتصالات، وتخصيص تنقل الواجهة، وهيكلة البيانات في رسوم بيانية متداخلة. لضمان سلامة البيانات والأداء، يستخدم النظام الاستمرارية التلقائية في الوقت الفعلي والتسلسل الثنائي لتحسين كفاءة التخزين لمجموعات البيانات الكبيرة.

msgspec is a high-performance data modeling, serialization, and schema validation toolkit for Python. It serves as a type-safe serialization framework that integrates schema enforcement and data parsing into a single pass, functioning as both a data serialization library and a schema validation system based on standard Python type annotations. The project distinguishes itself through high-performance structural primitives, including compilation-based routine generation and zero-copy buffer parsing. It optimizes memory usage via garbage collection-aware layouts and reduces processing overhead

json-joy هي مكتبة شاملة لبناء تطبيقات تعاونية في الوقت الفعلي وأنظمة موزعة. توفر إطار عمل قوياً لإدارة هياكل البيانات الشبيهة بـ JSON التي تدمج تلقائياً التعديلات المتزامنة من مستخدمين متعددين، مما يضمن حالة متسقة عبر جميع النسخ المتماثلة دون الحاجة إلى خادم تنسيق مركزي. يتميز المشروع بنهج عالي الأداء لمعالجة البيانات، باستخدام أنواع بيانات متماثلة خالية من التعارض ومزامنة قائمة على الساعة المنطقية للحفاظ على سلامة البيانات. يتضمن محركاً متخصصاً للتنقل ومعالجة الكائنات المتداخلة المعقدة باستخدام نحو مؤشر قياسي، إلى جانب مجموعة أدوات لتطبيق تعديلات ذرية دقيقة على المستندات. يتم استكمال هذه القدرات بمكتبة تسلسل عالية السرعة تدعم تنسيقات ثنائية مضغوطة لتحسين عرض النطاق الترددي للشبكة وكفاءة التخزين. بالإضافة إلى منطق المزامنة الأساسي، تقدم المكتبة مجموعة واسعة من الأدوات لإدارة الحالة التفاعلية وتكامل واجهة المستخدم. توفر خطافات ومكونات تعريفية تربط نماذج البيانات المشتركة مباشرة بمحررات النصوص والأكواد القائمة على الويب، مما يتيح ميزات مثل التواجد في الوقت الفعلي، وعرض المؤشر عن بعد، وتتبع السجل المحلي. يدعم النظام أيضاً معالجة البيانات المتقدمة، بما في ذلك التحقق من المخطط، وتقييم التعبير، وتنظيم البيانات القائم على الشجرة عالي الأداء.

PalDB is an embeddable key-value storage engine for Java designed for high-performance data retrieval. It functions as a library that persists data into a single, immutable binary file, providing a storage solution for write-once workloads that require minimal memory overhead compared to standard in-memory collections. The system distinguishes itself through a write-once data layout that eliminates the need for locking mechanisms during concurrent read operations. By utilizing memory-mapped file access and sorted key indexing, the engine enables rapid lookups directly within the process addre