Awesome GitHub RepositoriesBinary Data Formats

This library is a header-only C++ framework designed for the serialization, parsing, and manipulation of structured data. It provides a recursive variant data model that represents arbitrary structures as native types, allowing developers to navigate, modify, and patch hierarchical data using standard pointer paths and declarative update patterns. The project distinguishes itself through its template-based architecture, which enables type-safe data structures and custom type mapping at compile time. It offers a unified interface for binary format abstraction, supporting multiple compact repre

This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for

ET is a C# game server framework and distributed actor model runtime designed for large-scale multiplayer environments. It provides a comprehensive toolkit for building distributed game backends, incorporating a multiplayer network transport layer and a specialized suite for game AI and pathfinding. The framework is distinguished by its use of a distributed actor model to scale processing across multiple threads and servers, utilizing isolated actors for state management and messaging. It features a unified codebase architecture that allows shared logic between the server and client, enabling

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

The mongo-go-driver is a Go library for building applications that integrate with a MongoDB document store. It enables the storage and retrieval of flexible document data by providing a bridge between Go backends and the database. The driver implements specialized capabilities for semantic vector search, allowing the handling and execution of high-dimensional vector data for similarity-based retrieval. It also supports full-text search via linguistic analysis and programmatic search index management. The project covers a broad range of database operations, including document-based CRUD, bulk

asyncpg is an asynchronous database driver and binary protocol client for PostgreSQL. It provides a non-blocking interface for executing SQL statements, streaming result sets, and managing data transfer between an application and a PostgreSQL database. The driver implements the PostgreSQL binary protocol directly to facilitate efficient data transfer and type conversion. It includes a connection pool to maintain and reuse open database connections, reducing the latency associated with repeated handshakes. The project covers a broad range of database integration capabilities, including atomic

MessagePack is a binary object serialization library and a cross-platform data exchange format. It serves as a binary alternative to JSON, converting structured data into a space-efficient binary representation for network transmission and storage. The system provides a standardized format for swapping complex data types across different programming languages and architectures. It allows for the definition of custom data type encoding by pairing application-specific information with specialized serialization markers. The library handles the encoding and decoding of diverse data types, includ

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

Racket هي لغة برمجة متعددة النماذج للأغراض العامة من عائلة Lisp مصممة لإنشاء اللغات. تعمل كمنصة عمل للغة، حيث توفر بيئة لتصميم وتنفيذ لغات برمجة مخصصة من خلال نظام مرن من الماكرو والوحدات. يتميز النظام بتقديم مجموعة شاملة لهندسة الدلالات، مما يسمح ببناء مجموعات لغوية متخصصة وطبقات تعليمية. يتضمن أدوات لتصميم اللغات المخصصة، مثل إنشاء المحلل اللغوي (lexer and parser)، بالإضافة إلى القدرة على تحديد قواعد توسيع الوحدات واختيار اللغة الديناميكي في وقت القراءة. يوفر المشروع بيئة تطوير متكاملة مع محرر مدمج، ومصحح أخطاء مرئي، ومدير حزم برمجية. تمتد إمكانياته إلى مكتبة قياسية للأغراض العامة تغطي عرض الرسومات ثنائية الأبعاد، ومعالجة البيانات الثنائية، وتكامل SQL وقواعد البيانات الاستنتاجية، وبناء واجهات المستخدم الرسومية. تدعم البيئة تجميع الكود المصدري في ملفات تنفيذية مستقلة للتوزيع.

pgx هو إطار عمل ومجموعة أدوات لتطوير إضافات PostgreSQL عالية الأداء باستخدام لغة البرمجة Rust. يوفر غلاف API منخفض المستوى للتفاعل مع سياقات ذاكرة قاعدة البيانات الداخلية، وأنظمة التسجيل، وواجهات برمجة تطبيقات التنفيذ الأساسية، مما يتيح تنفيذ وظائف ومنطق قاعدة بيانات مخصص مباشرة داخل محرك قاعدة البيانات. يتميز المشروع بأداة بناء مخصصة وواجهة سطر أوامر تدير دورة حياة تطوير الإضافات، بدءاً من تهيئة البيئة وحتى حزم الملفات الثنائية. يتضمن أداة تعيين الأنواع (type mapper) التي تترجم هياكل اللغة إلى أنواع مركبة في قاعدة البيانات وتنشئ تعريفات مخطط SQL المقابلة تلقائياً. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تعيين الوظائف المعرفة من قبل المستخدم، وتكامل البروتوكول الثنائي، ودعم استهداف إصدارات متعددة لضمان التوافق عبر إصدارات قاعدة البيانات المختلفة. كما يوفر أغلفة متخصصة لإدارة الذاكرة للتعامل مع المؤشرات ومنع التسريبات داخل بيئة قاعدة البيانات.

Cereal هي مكتبة تسلسل (serialization) وأداة استمرارية كائنات لـ C++ تُستخدم لتحويل أنواع البيانات والحاويات إلى تنسيقات للتخزين أو النقل. تم تنفيذها كمكتبة تعتمد على الرؤوس فقط (header-only)، مما يسمح بتضمينها مباشرة في الكود المصدري دون الحاجة إلى ملف ثنائي مجمع. تدعم المكتبة تمثيلات بيانات متعددة، بما في ذلك binary و XML و JSON. توفر القدرة على تحديد أرشيفات مخصصة، مما يتيح تطوير تنسيقات إخراج متخصصة للتحكم في كيفية ترميز البيانات وتخزينها. يتعامل النظام مع تحويل الكائنات المعقدة من خلال التسلسل القائم على القوالب واجتياز الشجرة العودي. تدعم هذه القدرات استمرارية حالة التطبيق وتبادل البيانات الثنائية بين العمليات.

Kaitai Struct هو إطار عمل لمواصفات ثنائية تصريحية يوفر توليداً مؤتمتاً للمحلل والمُسلسل عبر لغات برمجة متعددة. يستخدم لغة محمولة خاصة بالمجال لوصف تخطيط الملفات الثنائية وحزم الشبكة، محولاً هذه المواصفات إلى كود مصدر لقراءة وكتابة البيانات الثنائية. يمكن النظام من معالجة البيانات عبر اللغات عن طريق ترجمة تعريف هيكلي واحد إلى كود مصدر أصلي للغات بما في ذلك C++ و C# و Go و Java و JavaScript و Python و Rust. يسمح هذا النهج بتنفيذ نفس مواصفات البيانات الثنائية عبر منصات مختلفة دون إعادة كتابة منطق التحليل يدوياً. يغطي إطار العمل نمذجة ومعالجة البيانات الثنائية، بما في ذلك القدرة على إدارة مؤشرات القراءة للتنقل في الإزاحة وتطبيق تحويلات البيانات مثل فك الضغط وفك التشفير. كما يوفر أدوات لتصحيح أخطاء مواصفات التنسيق للتحقق من التعيين بين تخطيطات البيانات الثنائية وأوصافها التصريحية.

meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co

Odin Serializer هو إطار عمل مصمم لمحرك ألعاب Unity لتحويل رسوم بيانية للكائنات المعقدة إلى تنسيقات ثنائية أو JSON مستمرة. يوفر نظاماً لحفظ وتحميل هياكل الفئات المعقدة، بما في ذلك الأنواع العامة المتداخلة والأنواع متعددة الأشكال، مع الحفاظ على السلامة الهيكلية للبيانات. يتميز إطار العمل بدعمه للتجميع قبل الوقت (ahead-of-time)، حيث يولد بيانات وصفية للنوع ضرورية أثناء عملية البناء لضمان الوظيفة على المنصات التي تقيد الانعكاس في وقت التشغيل. ويتكامل مباشرة مع دورة حياة محرك Unity، مما يسمح بتسلسل الأنواع الخاصة بالمحرك وإدارة مراجع الأصول الخارجية من خلال معرفات فريدة مستمرة. يمكن للمستخدمين تحديد سياسات تسلسل دقيقة للتحكم في أعضاء الفئة الذين يتم تضمينهم أو استبعادهم أثناء عملية التحويل. تسمح هذه الإمكانية بتحسين تخزين البيانات ونقلها من خلال ضمان معالجة المعلومات المطلوبة فقط، بينما يتعامل المحرك الأساسي مع التعيين العودي لتسلسلات الوراثة المعقدة.

يوفر هذا المشروع مجموعة من أدوات الإدارة عبر سطر الأوامر المصممة لإدارة مثيلات قاعدة بيانات MongoDB. تعمل كواجهة أساسية لإجراء نسخ احتياطي لقاعدة البيانات، واستعادة اللقطات الثنائية، وتنفيذ مهام ترحيل البيانات بين مثيلات قاعدة البيانات والأنظمة الخارجية. تسهل الأدوات نقل المعلومات عن طريق استيراد وتصدير المجموعات عبر تنسيقات مختلفة، بما في ذلك JSON وCSV وTSV والملفات الثنائية. بالإضافة إلى الترحيل، تتضمن المجموعة أدوات متخصصة لفحص ملفات البيانات الثنائية بتنسيق مقروء بشرياً وإدارة الملفات الثنائية الكبيرة المخزنة داخل نظام ملفات قاعدة البيانات. تعمل هذه الأدوات عن طريق التواصل مباشرة مع خادم قاعدة البيانات من خلال طلبات بروتوكول ثنائية منظمة. تدعم البنية الأساسية المعالجة الموجهة نحو التدفق والعمليات المجمعة للتعامل مع مجموعات البيانات الكبيرة بكفاءة مع الحفاظ على متانة البيانات وسلامتها أثناء مهام الإدارة.