Awesome GitHub RepositoriesBinary Data Formats

This library is a header-only C++ framework designed for the serialization, parsing, and manipulation of structured data. It provides a recursive variant data model that represents arbitrary structures as native types, allowing developers to navigate, modify, and patch hierarchical data using standard pointer paths and declarative update patterns. The project distinguishes itself through its template-based architecture, which enables type-safe data structures and custom type mapping at compile time. It offers a unified interface for binary format abstraction, supporting multiple compact repre

This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for

ET is a C# game server framework and distributed actor model runtime designed for large-scale multiplayer environments. It provides a comprehensive toolkit for building distributed game backends, incorporating a multiplayer network transport layer and a specialized suite for game AI and pathfinding. The framework is distinguished by its use of a distributed actor model to scale processing across multiple threads and servers, utilizing isolated actors for state management and messaging. It features a unified codebase architecture that allows shared logic between the server and client, enabling

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

The mongo-go-driver is a Go library for building applications that integrate with a MongoDB document store. It enables the storage and retrieval of flexible document data by providing a bridge between Go backends and the database. The driver implements specialized capabilities for semantic vector search, allowing the handling and execution of high-dimensional vector data for similarity-based retrieval. It also supports full-text search via linguistic analysis and programmatic search index management. The project covers a broad range of database operations, including document-based CRUD, bulk

asyncpg is an asynchronous database driver and binary protocol client for PostgreSQL. It provides a non-blocking interface for executing SQL statements, streaming result sets, and managing data transfer between an application and a PostgreSQL database. The driver implements the PostgreSQL binary protocol directly to facilitate efficient data transfer and type conversion. It includes a connection pool to maintain and reuse open database connections, reducing the latency associated with repeated handshakes. The project covers a broad range of database integration capabilities, including atomic

MessagePack is a binary object serialization library and a cross-platform data exchange format. It serves as a binary alternative to JSON, converting structured data into a space-efficient binary representation for network transmission and storage. The system provides a standardized format for swapping complex data types across different programming languages and architectures. It allows for the definition of custom data type encoding by pairing application-specific information with specialized serialization markers. The library handles the encoding and decoding of diverse data types, includ

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

Racket ist eine Mehrzweck-Programmiersprache mit mehreren Paradigmen aus der Lisp-Familie, die für die Sprachschöpfung entwickelt wurde. Sie fungiert als Sprach-Workbench und bietet eine Plattform zum Entwerfen und Implementieren benutzerdefinierter Programmiersprachen durch ein flexibles System aus Makros und Modulen. Das System zeichnet sich durch eine umfassende Suite für Semantik-Engineering aus, die den Aufbau spezialisierter Sprach-Subsets und Bildungsschichten ermöglicht. Es enthält Tools für das Design benutzerdefinierter Sprachen, wie Lexer- und Parser-Generierung, sowie die Fähigkeit, Modul-Erweiterungsregeln und dynamische Sprachauswahl zur Lesezeit zu definieren. Das Projekt bietet eine integrierte Entwicklungsumgebung mit eingebautem Editor, visuellem Debugger und einem Software-Paketmanager. Die Funktionspalette erstreckt sich auf eine Standardbibliothek für allgemeine Zwecke, die 2D-Grafik-Rendering, Binärdatenverarbeitung, SQL- und deduktive Datenbankintegration sowie den Bau grafischer Benutzeroberflächen abdeckt. Die Umgebung unterstützt das Kompilieren von Quellcode in eigenständige ausführbare Dateien für die Distribution.

pgx ist ein Framework und eine Tool-Suite für die Entwicklung von hochperformanten PostgreSQL-Extensions mit der Programmiersprache Rust. Es bietet einen Low-Level-API-Wrapper für die Interaktion mit internen Datenbank-Memory-Contexts, Logging-Systemen und Core-Execution-APIs, was die Implementierung benutzerdefinierter Datenbankfunktionalität und Logik direkt innerhalb der Datenbank-Engine ermöglicht. Das Projekt zeichnet sich durch ein dediziertes Build-Tool und eine Command Line Interface (CLI) aus, die den gesamten Entwicklungszyklus einer Extension verwalten – von der Umgebungsinitialisierung bis zum Binary-Packaging. Es enthält einen Type-Mapper, der Sprachstrukturen in zusammengesetzte Datenbanktypen übersetzt und automatisch die entsprechenden SQL-Schema-Definitionen generiert. Das Framework deckt ein breites Funktionsspektrum ab, einschließlich User-Defined Function Mapping, Binärprotokoll-Integration und Multi-Version-Target-Support, um Kompatibilität über verschiedene Datenbank-Releases hinweg sicherzustellen. Zudem bietet es spezialisierte Memory-Management-Wrapper, um Pointer zu handhaben und Leaks innerhalb der Datenbankumgebung zu verhindern.

Cereal is a C++ serialization library and object persistence tool used to convert data types and containers into formats for storage or transmission. It is implemented as a header-only library, allowing it to be included directly in source code without the need for a compiled binary. The library supports multiple data representations, including binary, XML, and JSON. It provides the ability to define custom archives, enabling the development of specialized output formats to control how data is encoded and stored. The system handles the conversion of complex objects through template-based ser

Kaitai Struct ist ein Framework für deklarative Binärspezifikationen, das die automatisierte Parser- und Serializer-Generierung über mehrere Programmiersprachen hinweg ermöglicht. Es verwendet eine portable, domänenspezifische Sprache, um das Layout von Binärdateien und Netzwerkpaketen zu beschreiben, und konvertiert diese Spezifikationen in Quellcode zum Lesen und Schreiben binärer Daten. Das System ermöglicht sprachübergreifende Datenverarbeitung durch die Übersetzung einer einzigen strukturellen Definition in nativen Quellcode für Sprachen wie C++, C#, Go, Java, JavaScript, Python und Rust. Dieser Ansatz ermöglicht es, dieselbe Binärdatenspezifikation über verschiedene Plattformen hinweg zu implementieren, ohne die Parsing-Logik manuell neu schreiben zu müssen. Das Framework deckt die Modellierung und Verarbeitung binärer Daten ab, einschließlich der Fähigkeit, Lesezeiger für die Offset-Navigation zu verwalten und Datentransformationen wie Dekomprimierung und Entschlüsselung anzuwenden. Es bietet zudem Tools für das Debugging von Formatspezifikationen, um das Mapping zwischen Binärdatenlayouts und ihren deklarativen Beschreibungen zu validieren.

meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co

Odin Serializer ist ein Framework für die Unity-Game-Engine zur Konvertierung komplexer Objektgraphen in persistente Binär- oder JSON-Formate. Es bietet ein System zum Speichern und Laden komplizierter Klassenstrukturen, einschließlich verschachtelter Generics und polymorpher Typen, unter Wahrung der strukturellen Integrität der Daten. Das Framework zeichnet sich durch seine Unterstützung für Ahead-of-Time-Kompilierung aus, wobei notwendige Typ-Metadaten während des Build-Prozesses generiert werden, um Funktionalität auf Plattformen sicherzustellen, die Laufzeit-Reflektion einschränken. Es integriert sich direkt in den Unity-Engine-Lebenszyklus, was die Serialisierung Engine-spezifischer Typen und die Verwaltung externer Asset-Referenzen über eindeutige persistente Identifikatoren ermöglicht. Benutzer können granulare Serialisierungsrichtlinien definieren, um zu steuern, welche Klassenmitglieder während des Konvertierungsprozesses ein- oder ausgeschlossen werden. Diese Funktion ermöglicht die Optimierung der Datenspeicherung und -übertragung, indem sichergestellt wird, dass nur benötigte Informationen verarbeitet werden, während die zugrunde liegende Engine das rekursive Mapping komplexer Vererbungshierarchien übernimmt.

Dieses Projekt bietet eine Sammlung von Kommandozeilen-Dienstprogrammen für die Verwaltung von MongoDB-Datenbankinstanzen. Es dient als primäre Schnittstelle für die Durchführung von Datenbank-Backups, die Wiederherstellung binärer Snapshots und die Ausführung von Datenmigrationen zwischen Datenbankinstanzen und externen Systemen. Die Tools erleichtern den Datentransfer durch den Import und Export von Collections in verschiedenen Formaten, darunter JSON, CSV, TSV und Binärdateien. Neben der Migration enthält die Suite spezialisierte Dienstprogramme zur Untersuchung binärer Datendateien in einem menschenlesbaren Format sowie zur Verwaltung großer Binärdateien innerhalb des Datenbank-Dateisystems. Diese Dienstprogramme kommunizieren direkt über strukturierte Binärprotokoll-Anfragen mit dem Datenbankserver. Die zugrunde liegende Architektur unterstützt stream-orientierte Verarbeitung und Batch-Operationen, um große Datensätze effizient zu handhaben und gleichzeitig die Datenbeständigkeit und -integrität bei administrativen Aufgaben zu wahren.