Awesome GitHub RepositoriesSerialization Libraries

FlatBuffers is a cross-platform serialization library designed for performance-critical applications that require efficient, zero-copy data access. By organizing data in a structured binary format, it allows applications to read and write complex data structures directly from memory-mapped buffers without the need for intermediate parsing or temporary object allocation. The project distinguishes itself through a schema-driven approach that balances high-performance access with long-term data evolution. It utilizes a unique memory layout featuring relative offsets and inline fixed-size structu

Arrow is a cross-language development platform for in-memory data. It provides a standardized, language-independent columnar memory format designed to accelerate analytical operations and improve memory efficiency on modern computing hardware. By utilizing a schema-driven approach, the framework enables the efficient organization of both flat and nested data structures. The project functions as an analytical data processing engine that facilitates high-performance computation directly on memory-resident datasets. It distinguishes itself through a zero-copy architecture, which allows multiple

Buf is a toolchain for managing the full lifecycle of Protocol Buffers schemas. It provides a set of tools for schema governance, including linting to enforce style guides, a breaking change detector to ensure backward compatibility, and a system for producing language-specific source code via local or remote plugins. The project distinguishes itself through a remote schema registry that centralizes the hosting, versioning, and distribution of Protocol Buffers modules. This registry allows for server-side enforcement of governance policies, such as blocking updates that introduce backward-inc

Acest proiect este o implementare Protocol Buffers pentru Go, oferind un framework de serializare binară pentru a converti structurile de date native într-un format binar compact, eficient pentru transmisia în rețea și stocare. Funcționează ca un generator de binding-uri, utilizând un plugin de compilator pentru a crea cod sursă Go din definiții de protocol buffer neutre față de platformă. Implementarea include un mapper de date JSON care transformă mesajele binare structurate în format JSON pentru a facilita compatibilitatea cu serviciile web și API-urile externe. De asemenea, permite schimbul de date între limbaje diferite prin utilizarea unei scheme comune pentru partajarea datelor structurate. Biblioteca acoperă capabilități extinse de serializare și deserializare a datelor, inclusiv manipularea mesajelor structurate prin clonare, îmbinare și comparare. Oferă, de asemenea, mecanisme pentru inspecția mesajelor bazată pe reflexie și îmbinarea recursivă a mesajelor pentru a menține consistența stării în sistemele distribuite.

MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra

This project is a Protocol Buffers Go compiler and code generation framework that translates schema definitions into optimized Go structures and reflection-free serialization methods. It includes a gRPC service generator for producing client and server communication code and a serialization performance toolkit for generating automated benchmarks and test suites. The framework features a plugin-based system for transforming data definitions into source code with custom field mapping and struct tag injection. It allows for custom type mapping and struct type overriding to link data fields to sp

MemoryPack este o bibliotecă de serializare binară de înaltă performanță pentru C# și Unity. Oferă un pipeline de date zero-allocation și un framework de evoluție a schemei conceput pentru a minimiza alocările de memorie și overhead-ul de codificare. Proiectul utilizează generatoare de sursă la momentul compilării pentru a evita reflexia la runtime și implementează un format binar zero-encoding pentru un throughput maxim. Se distinge printr-o abordare zero-allocation care reutilizează instanțele de obiecte pentru a reduce presiunea asupra garbage collector-ului și copiază layout-ul de memorie al structurilor neadministrate direct în fluxurile binare. Biblioteca acoperă versionarea schemei binare pentru compatibilitate inversă și suportă streaming-ul asincron al colecțiilor pentru seturi mari de date. Include un generator de tipuri TypeScript pentru a sincroniza structurile de date între C# și TypeScript pentru schimbul de date cross-language. Capabilitățile suplimentare includ compresia payload-ului, implementări personalizate de formatter și callback-uri de serializare.

Simple Binary Encoding (SBE) - High Performance Message Codec

Documentation generator plugin for Google Protocol Buffers

msgpack.orgGo MessagePack encoding for Golang

Infinitely Fast Deserializer for .NET, .NET Core and Unity.

A Go code generator for MessagePack / msgpack.orgGo

idiomatic codec and rpc lib for msgpack, cbor, json, etc. msgpack.orgGo

World's Fastest .NET CSV Parser. Modern, minimal, fast, zero allocation, reading and writing of separated values (csv, tsv etc.). Cross-platform, trimmable and AOT/NativeAOT compatible with blazing fast SIMD vectorized parsing.

Yet another protocol library like google protocol buffers , but simple and fast.

Fast Binary Encoding is ultra fast and universal serialization solution for C++, C#, Go, Java, JavaScript, Kotlin, Python, Ruby, Swift

Fast, idiomatic C# implementation of Flatbuffers

Zero Allocation Writer/Reader Parser for .NET Core

Polymorphic serialization for .NET

StructPacker is binary serializer that auto-generates C# serialization code to achieve peak runtime performance and efficiency.