Awesome GitHub RepositoriesSerialization Formats

Protocol Buffers este un mecanism neutru față de limbaj și platformă pentru serializarea datelor structurate. Oferă un toolchain bazat pe schemă care compilează definiții de date declarative în cod sursă type-safe, permițând o comunicare consistentă și contracte API puternic tipizate între servicii scrise în diferite limbaje de programare. Proiectul se distinge printr-un format binar de rețea extrem de eficient care utilizează codificarea bazată pe tag-uri și compresia întregilor cu lățime variabilă pentru a minimiza dimensiunea payload-ului și overhead-ul de procesare. Suportă gestionarea robustă a schemelor evolutive, permițând dezvoltatorilor să actualizeze structurile de date incremental, menținând în același timp compatibilitatea inversă și înainte. Acest lucru este susținut în continuare de un sistem de ediții versionate care gestionează seturile de funcționalități și logica de serializare între componentele software distribuite. Dincolo de serializarea binară de bază, proiectul include capabilități pentru conversia JSON canonică cu validarea schemei, controlul granular al vizibilității simbolurilor și urmărirea prezenței câmpurilor pentru a distinge între valorile implicite și cele nesetate. De asemenea, oferă optimizări specializate, cum ar fi gestionarea memoriei bazată pe arenă pentru implementările C++, pentru a îmbunătăți performanța în timpul creării și curățării arborilor de mesaje complecși.

Snappy is a high-performance lossless compression library implemented in C++. It provides data reduction methods that perfectly restore original information, focusing on system-level efficiency and processing velocity across different platforms. The library prioritizes high-speed data compression and decompression over achieving the maximum possible compression ratio. It is designed for real-time stream compression to reduce bandwidth usage without introducing significant processing latency. The implementation covers high-velocity data shrinking and rapid restoration. It includes resilient d

Kryo is a Java binary serialization framework and object cloning library used to convert Java objects into a compact binary format and restore them from bytes. It provides a system for creating deep or shallow copies of complex object graphs without requiring binary conversion. The project utilizes variable-length integer encoding and integer-ID class registration to reduce the size of serialized data. It handles complex object graphs through circular reference tracking to prevent data duplication and infinite loops. To maintain long-term data viability, it includes schema evolution managemen

Cold storage that queries like hot storage. High-ratio JSONL compressor with block-level random access. Query cold storage in seconds — no restore, no full decompression. 5–13% ratio on JSONL logs, 25–57% smaller than gzip. 1-hour window via DuckDB in under 6s. Free for personal and open-source use.

The AI native file format — trust scores, provenance, and compliance metadata that embed into every file your AI touches. pip install akf