Awesome GitHub RepositoriesSerialization Formats

Protocol Buffers est un mécanisme neutre vis-à-vis du langage et indépendant de la plateforme pour sérialiser des données structurées. Il fournit une chaîne d'outils pilotée par schéma qui compile des définitions de données déclaratives en code source typé, permettant une communication cohérente et des contrats d'API fortement typés entre des services écrits dans différents langages de programmation. Le projet se distingue par un format binaire très efficace qui utilise un encodage basé sur des balises et une compression d'entiers à largeur variable pour minimiser la taille de la charge utile et la surcharge de traitement. Il prend en charge une gestion robuste des schémas évolutifs, permettant aux développeurs de mettre à jour les structures de données de manière incrémentale tout en maintenant la compatibilité ascendante et descendante. Ceci est soutenu par un système d'édition versionné qui gère les ensembles de fonctionnalités et la logique de sérialisation à travers les composants logiciels distribués. Au-delà de sa sérialisation binaire de base, le projet inclut des capacités pour la conversion JSON canonique avec validation de schéma, un contrôle granulaire de la visibilité des symboles et le suivi de la présence des champs pour distinguer les valeurs par défaut des valeurs non définies. Il fournit également des optimisations spécialisées, telles que la gestion de la mémoire basée sur des arènes pour les implémentations C++, afin d'améliorer les performances lors de la création et du nettoyage d'arbres de messages complexes.

Snappy is a high-performance lossless compression library implemented in C++. It provides data reduction methods that perfectly restore original information, focusing on system-level efficiency and processing velocity across different platforms. The library prioritizes high-speed data compression and decompression over achieving the maximum possible compression ratio. It is designed for real-time stream compression to reduce bandwidth usage without introducing significant processing latency. The implementation covers high-velocity data shrinking and rapid restoration. It includes resilient d

Kryo is a Java binary serialization framework and object cloning library used to convert Java objects into a compact binary format and restore them from bytes. It provides a system for creating deep or shallow copies of complex object graphs without requiring binary conversion. The project utilizes variable-length integer encoding and integer-ID class registration to reduce the size of serialized data. It handles complex object graphs through circular reference tracking to prevent data duplication and infinite loops. To maintain long-term data viability, it includes schema evolution managemen

Cold storage that queries like hot storage. High-ratio JSONL compressor with block-level random access. Query cold storage in seconds — no restore, no full decompression. 5–13% ratio on JSONL logs, 25–57% smaller than gzip. 1-hour window via DuckDB in under 6s. Free for personal and open-source use.

The AI native file format — trust scores, provenance, and compliance metadata that embed into every file your AI touches. pip install akf