Awesome GitHub RepositoriesBinary Data Formats

This library is a header-only C++ framework designed for the serialization, parsing, and manipulation of structured data. It provides a recursive variant data model that represents arbitrary structures as native types, allowing developers to navigate, modify, and patch hierarchical data using standard pointer paths and declarative update patterns. The project distinguishes itself through its template-based architecture, which enables type-safe data structures and custom type mapping at compile time. It offers a unified interface for binary format abstraction, supporting multiple compact repre

This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for

ET is a C# game server framework and distributed actor model runtime designed for large-scale multiplayer environments. It provides a comprehensive toolkit for building distributed game backends, incorporating a multiplayer network transport layer and a specialized suite for game AI and pathfinding. The framework is distinguished by its use of a distributed actor model to scale processing across multiple threads and servers, utilizing isolated actors for state management and messaging. It features a unified codebase architecture that allows shared logic between the server and client, enabling

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

The mongo-go-driver is a Go library for building applications that integrate with a MongoDB document store. It enables the storage and retrieval of flexible document data by providing a bridge between Go backends and the database. The driver implements specialized capabilities for semantic vector search, allowing the handling and execution of high-dimensional vector data for similarity-based retrieval. It also supports full-text search via linguistic analysis and programmatic search index management. The project covers a broad range of database operations, including document-based CRUD, bulk

asyncpg is an asynchronous database driver and binary protocol client for PostgreSQL. It provides a non-blocking interface for executing SQL statements, streaming result sets, and managing data transfer between an application and a PostgreSQL database. The driver implements the PostgreSQL binary protocol directly to facilitate efficient data transfer and type conversion. It includes a connection pool to maintain and reuse open database connections, reducing the latency associated with repeated handshakes. The project covers a broad range of database integration capabilities, including atomic

MessagePack is a binary object serialization library and a cross-platform data exchange format. It serves as a binary alternative to JSON, converting structured data into a space-efficient binary representation for network transmission and storage. The system provides a standardized format for swapping complex data types across different programming languages and architectures. It allows for the definition of custom data type encoding by pairing application-specific information with specialized serialization markers. The library handles the encoding and decoding of diverse data types, includ

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

Racket este un limbaj de programare general-purpose, multi-paradigmă, din familia Lisp, conceput pentru crearea de limbaje. Funcționează ca un banc de lucru pentru limbaje (language workbench), oferind o platformă pentru proiectarea și implementarea de limbaje de programare personalizate printr-un sistem flexibil de macro-uri și module. Sistemul se distinge prin oferirea unei suite cuprinzătoare pentru ingineria semantică, permițând construcția de subseturi de limbaje specializate și straturi educaționale. Include instrumente pentru designul de limbaje personalizate, cum ar fi generarea de lexere și parsere, precum și capacitatea de a defini reguli de expansiune a modulelor și selecția dinamică a limbajului la momentul citirii (read-time). Proiectul oferă un mediu de dezvoltare integrat (IDE) cu editor încorporat, debugger vizual și un manager de pachete software. Suprafața sa de capabilități se extinde la o bibliotecă standard general-purpose care acoperă randarea graficii 2D, procesarea datelor binare, integrarea SQL și a bazelor de date deductive, precum și construcția de interfețe grafice. Mediul suportă compilarea codului sursă în fișiere executabile standalone pentru distribuție.

pgx este un framework și o suită de instrumente pentru dezvoltarea de extensii PostgreSQL de înaltă performanță folosind limbajul de programare Rust. Oferă un wrapper API de nivel scăzut pentru a interacționa cu contextele de memorie interne ale bazei de date, sistemele de logare și API-urile de execuție de bază, permițând implementarea de funcționalități și logică personalizată direct în motorul bazei de date. Proiectul se distinge printr-un instrument de build dedicat și o interfață în linia de comandă (CLI) care gestionează ciclul de viață al dezvoltării extensiei, de la inițializarea mediului până la împachetarea binară. Include un mapper de tipuri care traduce structurile de limbaj în tipuri compozite de bază de date și generează automat definițiile SQL corespunzătoare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv maparea funcțiilor definite de utilizator, integrarea protocolului binar și suportul pentru mai multe versiuni de target pentru a asigura compatibilitatea între diferite release-uri de baze de date. De asemenea, oferă wrappere specializate pentru gestionarea memoriei, pentru a manipula pointerii și a preveni scurgerile de memorie în mediul bazei de date.

Cereal is a C++ serialization library and object persistence tool used to convert data types and containers into formats for storage or transmission. It is implemented as a header-only library, allowing it to be included directly in source code without the need for a compiled binary. The library supports multiple data representations, including binary, XML, and JSON. It provides the ability to define custom archives, enabling the development of specialized output formats to control how data is encoded and stored. The system handles the conversion of complex objects through template-based ser

Kaitai Struct este un framework pentru specificații binare declarative care oferă generarea automată de parser și serializator pe mai multe limbaje de programare. Utilizează un limbaj portabil, specific domeniului, pentru a descrie layout-ul fișierelor binare și al pachetelor de rețea, convertind aceste specificații în cod sursă pentru citirea și scrierea datelor binare. Sistemul permite procesarea datelor cross-language prin traducerea unei singure definiții structurale în cod sursă nativ pentru limbaje precum C++, C#, Go, Java, JavaScript, Python și Rust. Această abordare permite implementarea aceleiași specificații de date binare pe diferite platforme fără a rescrie manual logica de parsare. Framework-ul acoperă modelarea și procesarea datelor binare, inclusiv capacitatea de a gestiona pointeri de citire pentru navigarea offset-urilor și aplicarea transformărilor de date, cum ar fi decompresia și decriptarea. De asemenea, oferă instrumente pentru debugging-ul specificațiilor de format pentru a valida maparea între layout-urile de date binare și descrierile lor declarative.

meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co

Odin Serializer este un framework conceput pentru motorul de joc Unity pentru a converti grafuri de obiecte complexe în formate binare sau JSON persistente. Oferă un sistem pentru salvarea și încărcarea structurilor de clasă complicate, inclusiv generice imbricate și tipuri polimorfice, menținând în același timp integritatea structurală a datelor. Framework-ul se distinge prin suportul pentru compilarea ahead-of-time, generând metadatele de tip necesare în timpul procesului de build pentru a asigura funcționalitatea pe platformele care restricționează reflexia la runtime. Se integrează direct cu ciclul de viață al motorului Unity, permițând serializarea tipurilor specifice motorului și gestionarea referințelor externe de active prin identificatori unici persistenți. Utilizatorii pot defini politici de serializare granulare pentru a controla ce membri ai clasei sunt incluși sau excluși în timpul procesului de conversie. Această capabilitate permite optimizarea stocării și transmisiei datelor prin asigurarea faptului că sunt procesate doar informațiile necesare, în timp ce motorul subiacent gestionează maparea recursivă a ierarhiilor complexe de moștenire.

This project provides a collection of command-line administrative utilities designed for managing MongoDB database instances. It serves as the primary interface for performing database backups, restoring binary snapshots, and executing data migration tasks between database instances and external systems. The tools facilitate the movement of information by importing and exporting collections across various formats, including JSON, CSV, TSV, and binary files. Beyond migration, the suite includes specialized utilities for inspecting binary data files in a human-readable format and managing large