12 repository-uri
Processes for reconstructing structured data from raw byte slices or streams.
Distinct from Binary Data Accessors: Distinct from Binary Data Accessors: focuses on full reconstruction of objects rather than partial zero-copy access.
Explore 12 awesome GitHub repositories matching data & databases · Binary Deserialization. Refine with filters or upvote what's useful.
Thrift este un framework de apeluri de proceduri la distanță (RPC) și un protocol de serializare a datelor cross-language. Acesta oferă un limbaj de definire a interfeței (IDL) pentru a specifica tipurile de date și interfețele de servicii într-un format neutru, permițând generarea automată a codului de client și server în mai multe limbaje de programare. Proiectul funcționează ca un comunicator de servicii poliglot, utilizând un stack software stratificat pentru a asigura o comunicare interoperabilă. Se concentrează pe implementarea apelurilor de proceduri la distanță cross-language și transformarea structurilor de date complexe în formate standardizate pentru un transport eficient în rețea. Framework-ul include capabilități pentru gestionarea compatibilității versiunilor API pentru a suporta actualizări non-atomice între clienți și servere. De asemenea, oferă mecanisme pentru verificarea integrității datelor și validarea faptului că serviciile se comportă identic în diferite implementări de limbaje.
Supports non-atomic updates by ignoring unknown fields during binary deserialization, ensuring backward and forward compatibility.
Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k
Allows reconstructing structured data from byte slices using specific configurations.
Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo
Implements binary deserialization to reconstruct structured data from BCS serialized byte slices.
MessagePack-CSharp is a high-performance binary serialization library for .NET applications that converts object graphs into the MessagePack format. It functions as a C# data serialization toolkit and a polymorphic binary encoder capable of handling abstract classes and interfaces using union keys to identify concrete derived types. The library provides a binary format transcoder to transform binary data into human-readable JSON for debugging. It supports ahead-of-time formatter generation to avoid runtime overhead and implements LZ4 binary compression to reduce the size of serialized data.
Reconstructs structured object graphs from raw binary blobs using both typed and dynamic deserialization.
MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra
Deserializes binary data with missing or extra fields by ignoring unknown keys and applying defaults.
protobuf-net este un framework de serializare binară și o bibliotecă .NET care implementează specificația Protocol Buffers. Funcționează ca un instrument de serializare bazat pe schemă și un mapper de date contract-first, convertind grafuri complexe de obiecte într-un format binar compact pentru stocare și transmisie în rețea. Biblioteca permite schimbul de date cross-platform și rețelistica de înaltă performanță prin reducerea dimensiunilor payload-ului și a timpului de procesare. Suportă în mod specific persistența ierarhiei obiectelor, permițând serializarea și reconstrucția structurilor complexe de clase care includ moștenirea și tipurile derivate. Proiectul acoperă capabilități de bază, inclusiv serializarea și deserializarea datelor binare, generarea de clase bazată pe schemă și gestionarea moștenirii tipurilor prin identificatori unici. Oferă mecanisme pentru maparea structurilor de date prin atribute statice sau configurații dinamice de runtime.
Reconstructs complex .NET objects from raw binary streams to restore original application state.
Acest proiect este o bibliotecă și un framework Protocol Buffers pentru Swift, oferind un runtime pentru serializarea și deserializarea datelor structurate. Include un generator de cod care transformă fișierele de schemă în structuri Swift type-safe și un framework de serializare binară pentru conversia datelor în fluxuri compacte. Biblioteca funcționează ca un mapper de date JSON, transformând mesajele în reprezentări JSON standard pentru a facilita schimbul de date cross-platform. Utilizează o abordare bazată pe schemă pentru a asigura o modelare consistentă a datelor între aplicațiile Swift și serviciile scrise în alte limbaje. Framework-ul acoperă serializarea și deserializarea datelor binare și JSON, utilizând o bibliotecă runtime bazată pe interfețe pentru a gestiona aceste formate în mesajele generate.
Reconstructs structured data from compact binary streams using predefined protobuf schemas.
Prost is a Protocol Buffers implementation for Rust that functions as a binary serialization framework and code generator. It translates schema definitions into idiomatic Rust structs and enums, providing the logic necessary to encode and decode structured data into the Protocol Buffers binary format. The project distinguishes itself through a no-std implementation, allowing it to operate in embedded or kernel environments that lack a standard library. It also serves as a schema introspector by emitting file descriptor sets, which enables the programmatic analysis of original schema definitio
Transforms binary streams back into structured Rust data objects through efficient deserialization.
Fury este un framework de serializare binară multi-limbaj conceput pentru encodarea obiectelor de domeniu și a grafurilor complexe, pentru a facilita schimbul de date între limbaje. Include un compilator de limbaj de definire a interfețelor (IDL) care traduce definițiile de schemă în tipuri native idiomatice și boilerplate de serializare în mai multe limbaje. Proiectul se distinge printr-un cititor binar zero-copy care permite accesarea unor câmpuri specifice fără a deserializa întregul obiect, precum și un serializator de grafuri de obiecte care păstrează referințele circulare și integritatea referențială. De asemenea, dispune de un convertor de date care transformă datele binare bazate pe rânduri în formate coloanare Apache Arrow pentru sarcini analitice. Framework-ul acoperă domenii largi de capabilități, inclusiv evoluția schemei bazată pe metadate pentru compatibilitate înainte și înapoi, un proces de compilare AOT (Ahead-Of-Time) pentru a elimina reflexia la runtime și deserializarea securizată prin validarea tipurilor bazată pe whitelist. Oferă, de asemenea, integrare pentru apeluri de proceduri la distanță de înaltă performanță prin gRPC.
Reconstructs original typed objects from binary payloads using a shared schema to ensure type safety.
fastjson2 is a high-performance Java library used for serializing and deserializing Java objects to and from JSON strings and byte arrays. It functions as a binary JSON serializer for encoding objects into optimized binary formats to reduce payload size and increase processing speed. The project includes a JSONPath query engine for extracting specific data and fields from JSON documents using standardized path expressions and filters. It also serves as a JSON schema validator, providing utilities to generate data contracts and validate JSON input against defined schemas to ensure structural c
Reconstructs Java objects from binary data using embedded type information for automatic resolution.
Fory is a cross-language serialization framework and binary data serializer designed to convert complex object graphs into a compact binary format for high-performance data exchange. It includes an IDL-based schema compiler to transform interface definition language files into type-safe native data models and a schema evolution manager to maintain forward and backward compatibility. The project features a zero-copy data access layer that allows reading specific fields from binary rows without deserializing the entire object. It supports dual-mode serialization, enabling a toggle between a por
Reconstructs native language objects from binary streams based on a shared schema.
NBTExplorer is a viewer and editor for Named Binary Tag data. It functions as a processor for the hierarchical binary tag files used within Minecraft save files and game configuration. The tool enables the exploration and modification of game world settings, player data, and entity states. It supports reading and updating structured binary data across standard, uncompressed, and region-based file formats. The project provides capabilities for binary tag deserialization and in-place modification. It handles data through buffered stream reading, zlib-based decompression, and region-file indexi
Implements binary deserialization to convert raw NBT streams into structured tree objects.