Awesome GitHub RepositoriesBinary Data Formats

This library is a header-only C++ framework designed for the serialization, parsing, and manipulation of structured data. It provides a recursive variant data model that represents arbitrary structures as native types, allowing developers to navigate, modify, and patch hierarchical data using standard pointer paths and declarative update patterns. The project distinguishes itself through its template-based architecture, which enables type-safe data structures and custom type mapping at compile time. It offers a unified interface for binary format abstraction, supporting multiple compact repre

This project is a comprehensive platform for quantitative investment research, machine learning, and algorithmic trading. It provides an end-to-end environment for developing, testing, and executing financial strategies, supporting the entire lifecycle from data ingestion and feature engineering to model training and backtesting. The system is distinguished by its configuration-driven workflow orchestration, which allows researchers to automate complex pipelines and manage experiments through declarative files. It features a high-performance data infrastructure that utilizes custom binary for

ET is a C# game server framework and distributed actor model runtime designed for large-scale multiplayer environments. It provides a comprehensive toolkit for building distributed game backends, incorporating a multiplayer network transport layer and a specialized suite for game AI and pathfinding. The framework is distinguished by its use of a distributed actor model to scale processing across multiple threads and servers, utilizing isolated actors for state management and messaging. It features a unified codebase architecture that allows shared logic between the server and client, enabling

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

The mongo-go-driver is a Go library for building applications that integrate with a MongoDB document store. It enables the storage and retrieval of flexible document data by providing a bridge between Go backends and the database. The driver implements specialized capabilities for semantic vector search, allowing the handling and execution of high-dimensional vector data for similarity-based retrieval. It also supports full-text search via linguistic analysis and programmatic search index management. The project covers a broad range of database operations, including document-based CRUD, bulk

asyncpg is an asynchronous database driver and binary protocol client for PostgreSQL. It provides a non-blocking interface for executing SQL statements, streaming result sets, and managing data transfer between an application and a PostgreSQL database. The driver implements the PostgreSQL binary protocol directly to facilitate efficient data transfer and type conversion. It includes a connection pool to maintain and reuse open database connections, reducing the latency associated with repeated handshakes. The project covers a broad range of database integration capabilities, including atomic

MessagePack is a binary object serialization library and a cross-platform data exchange format. It serves as a binary alternative to JSON, converting structured data into a space-efficient binary representation for network transmission and storage. The system provides a standardized format for swapping complex data types across different programming languages and architectures. It allows for the definition of custom data type encoding by pairing application-specific information with specialized serialization markers. The library handles the encoding and decoding of diverse data types, includ

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

Racket es un lenguaje de programación de propósito general y multiparadigma de la familia Lisp, diseñado para la creación de lenguajes. Funciona como un banco de trabajo de lenguajes, proporcionando una plataforma para diseñar e implementar lenguajes de programación personalizados a través de un sistema flexible de macros y módulos. El sistema se distingue por ofrecer una suite integral para la ingeniería de semántica, permitiendo la construcción de subconjuntos de lenguajes especializados y capas educativas. Incluye herramientas para el diseño de lenguajes personalizados, como la generación de lexers y parsers, así como la capacidad de definir reglas de expansión de módulos y selección dinámica de lenguaje en tiempo de lectura. El proyecto proporciona un entorno de desarrollo integrado con un editor incorporado, depurador visual y un gestor de paquetes de software. Su superficie de capacidades se extiende a una biblioteca estándar de propósito general que cubre renderizado de gráficos 2D, procesamiento de datos binarios, integración con SQL y bases de datos deductivas, y la construcción de interfaces gráficas de usuario. El entorno admite la compilación de código fuente en archivos ejecutables independientes para su distribución.

pgx es un framework y conjunto de herramientas para desarrollar extensiones de PostgreSQL de alto rendimiento utilizando el lenguaje de programación Rust. Proporciona un wrapper de API de bajo nivel para interactuar con contextos de memoria internos de la base de datos, sistemas de registro y APIs de ejecución del núcleo, permitiendo implementar lógica y funcionalidades personalizadas directamente dentro del motor de la base de datos. El proyecto se distingue por una herramienta de compilación dedicada y una interfaz de línea de comandos que gestiona el ciclo de vida de desarrollo de la extensión, desde la inicialización del entorno hasta el empaquetado binario. Incluye un mapeador de tipos que traduce estructuras del lenguaje a tipos compuestos de la base de datos y genera automáticamente las definiciones de esquema SQL correspondientes. El framework cubre una amplia superficie de capacidades, incluyendo el mapeo de funciones definidas por el usuario, integración de protocolos binarios y soporte para múltiples versiones de destino para asegurar la compatibilidad entre diferentes lanzamientos de la base de datos. También proporciona wrappers especializados de gestión de memoria para manejar punteros y prevenir fugas dentro del entorno de la base de datos.

Cereal es una biblioteca de serialización y herramienta de persistencia de objetos en C++ utilizada para convertir tipos de datos y contenedores en formatos para almacenamiento o transmisión. Está implementada como una biblioteca de solo cabeceras (header-only), lo que permite incluirla directamente en el código fuente sin necesidad de un binario compilado. La biblioteca admite múltiples representaciones de datos, incluyendo binario, XML y JSON. Proporciona la capacidad de definir archivos personalizados, permitiendo el desarrollo de formatos de salida especializados para controlar cómo se codifican y almacenan los datos. El sistema maneja la conversión de objetos complejos mediante serialización basada en plantillas y recorrido recursivo de árboles. Estas capacidades soportan la persistencia del estado de la aplicación y el intercambio de datos binarios entre procesos.

Kaitai Struct es un framework para especificación binaria declarativa que proporciona generación automatizada de analizadores y serializadores a través de múltiples lenguajes de programación. Utiliza un lenguaje portátil específico del dominio para describir el diseño de archivos binarios y paquetes de red, convirtiendo estas especificaciones en código fuente para leer y escribir datos binarios. El sistema permite el procesamiento de datos entre lenguajes traduciendo una definición estructural única en código fuente nativo para lenguajes incluyendo C++, C#, Go, Java, JavaScript, Python y Rust. Este enfoque permite que la misma especificación de datos binarios se implemente a través de diferentes plataformas sin reescribir manualmente la lógica de análisis. El framework cubre el modelado y procesamiento de datos binarios, incluyendo la capacidad de gestionar punteros de lectura para navegación de offset y aplicar transformaciones de datos como descompresión y descifrado. También proporciona herramientas para la depuración de especificaciones de formato para validar el mapeo entre diseños de datos binarios y sus descripciones declarativas.

meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co

Odin Serializer es un framework diseñado para el motor de juegos Unity para convertir grafos de objetos complejos en formatos binarios o JSON persistentes. Proporciona un sistema para guardar y cargar estructuras de clases intrincadas, incluyendo genéricos anidados y tipos polimórficos, mientras mantiene la integridad estructural de los datos. El framework se distingue por su soporte para compilación ahead-of-time, generando los metadatos de tipo necesarios durante el proceso de compilación para asegurar la funcionalidad en plataformas que restringen la reflexión en tiempo de ejecución. Se integra directamente con el ciclo de vida del motor Unity, permitiendo la serialización de tipos específicos del motor y la gestión de referencias de activos externos a través de identificadores persistentes únicos. Los usuarios pueden definir políticas de serialización granulares para controlar qué miembros de la clase se incluyen o excluyen durante el proceso de conversión. Esta capacidad permite la optimización del almacenamiento y transmisión de datos asegurando que solo se procese la información requerida, mientras que el motor subyacente maneja el mapeo recursivo de jerarquías de herencia complejas.

Este proyecto proporciona una colección de utilidades administrativas de línea de comandos diseñadas para gestionar instancias de bases de datos MongoDB. Sirve como la interfaz principal para realizar copias de seguridad de bases de datos, restaurar instantáneas binarias y ejecutar tareas de migración de datos entre instancias de bases de datos y sistemas externos. Las herramientas facilitan el movimiento de información mediante la importación y exportación de colecciones en varios formatos, incluyendo JSON, CSV, TSV y archivos binarios. Más allá de la migración, la suite incluye utilidades especializadas para inspeccionar archivos de datos binarios en un formato legible por humanos y gestionar archivos binarios grandes almacenados dentro del sistema de archivos de la base de datos. Estas utilidades operan comunicándose directamente con el servidor de la base de datos a través de solicitudes de protocolo binario estructurado. La arquitectura subyacente admite procesamiento orientado a flujos y operaciones por lotes para manejar grandes conjuntos de datos de manera eficiente, manteniendo la durabilidad e integridad de los datos durante las tareas administrativas.