16 مستودعات
Tools for reading and parsing binary data formats without full deserialization.
Distinguishing note: Focuses on zero-copy or partial-read access patterns for binary buffers, distinct from general-purpose database drivers.
Explore 16 awesome GitHub repositories matching data & databases · Binary Data Accessors. Refine with filters or upvote what's useful.
FlatBuffers is a cross-platform serialization library designed for performance-critical applications that require efficient, zero-copy data access. By organizing data in a structured binary format, it allows applications to read and write complex data structures directly from memory-mapped buffers without the need for intermediate parsing or temporary object allocation. The project distinguishes itself through a schema-driven approach that balances high-performance access with long-term data evolution. It utilizes a unique memory layout featuring relative offsets and inline fixed-size structu
Reading specific fields from large binary buffers without the need for full deserialization or temporary object allocation.
This project is a comprehensive JavaScript programming tutorial and language reference. It serves as a web development education resource providing instruction on modern language fundamentals, object-oriented design, and advanced asynchronous programming patterns. The resource functions as both a frontend development guide and a technical reference. It covers core language features such as closures, prototypes, promises, and typed arrays, while providing practical lessons on managing browser data and handling network requests. The content spans several key capability areas, including browser
Explains how to read and interpret bytes from raw binary buffers at specific offsets.
The ECMAScript specification is the formal standard defining the syntax, semantics, and execution model that all JavaScript implementations must follow. It establishes the official language rules through a combination of formal grammar and step-by-step algorithmic prose. The project manages the technical evolution of the language via a consensus-driven governance framework and a staged proposal pipeline. This process tracks features from initial design through expert reviewer sign-off and committee approval. A specification-as-code toolchain compiles these formal definitions and algorithmic d
Provides views that allow reading and writing multiple numeric types directly to an underlying binary buffer.
Thrift هو إطار عمل لاستدعاء الإجراءات عن بُعد (RPC) وبروتوكول تسلسل البيانات عبر اللغات. يوفر لغة تعريف واجهة (IDL) لتحديد أنواع البيانات وواجهات الخدمة بتنسيق محايد، مما يتيح التوليد المؤتمت لكود العميل والخادم عبر لغات برمجة متعددة. يعمل المشروع كمتواصل خدمة متعدد اللغات (polyglot) يستخدم حزمة برمجية ذات طبقات لضمان التواصل القابل للتشغيل البيني. ويركز على تنفيذ استدعاءات الإجراءات عن بُعد عبر اللغات وتحويل هياكل البيانات المعقدة إلى تنسيقات موحدة لنقل الشبكة بكفاءة. يتضمن إطار العمل قدرات لإدارة توافق إصدارات API لدعم التحديثات غير الذرية بين العملاء والخوادم. كما يوفر آليات للتحقق من سلامة البيانات والتأكد من أن الخدمات تتصرف بشكل متطابق عبر تنفيذات اللغات المختلفة.
Supports non-atomic updates by ignoring unknown fields during binary deserialization, ensuring backward and forward compatibility.
Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k
Allows reconstructing structured data from byte slices using specific configurations.
Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo
Implements binary deserialization to reconstruct structured data from BCS serialized byte slices.
ArduinoJson is a C++ library for parsing and manipulating JSON data and MessagePack binary streams on microcontrollers with limited memory and processing power. It provides the core primitives necessary for embedded data serialization and parsing, enabling devices to exchange structured data over serial or network interfaces. The library is distinguished by its focus on microcontroller memory management, employing strategies such as pool-based allocation, string deduplication, and non-owning string views to minimize RAM usage. It further optimizes for constrained environments by allowing cons
Provides direct reading and writing of raw binary data embedded within MessagePack streams.
MessagePack-CSharp is a high-performance binary serialization library for .NET applications that converts object graphs into the MessagePack format. It functions as a C# data serialization toolkit and a polymorphic binary encoder capable of handling abstract classes and interfaces using union keys to identify concrete derived types. The library provides a binary format transcoder to transform binary data into human-readable JSON for debugging. It supports ahead-of-time formatter generation to avoid runtime overhead and implements LZ4 binary compression to reduce the size of serialized data.
Reconstructs structured object graphs from raw binary blobs using both typed and dynamic deserialization.
MessagePack-CSharp is a high-performance binary serializer for .NET that converts C# objects to and from the compact MessagePack format. It uses compile-time source generation to produce AOT-safe formatters and resolvers, eliminating runtime reflection and enabling ahead-of-time compilation scenarios. The serializer encodes object fields as integer indices instead of string keys, producing compact binary output with deterministic field ordering, and provides stack-allocated reader and writer structs for direct encoding and decoding of MessagePack primitives without heap allocations. The libra
Deserializes binary data with missing or extra fields by ignoring unknown keys and applying defaults.
protobuf-net هو إطار عمل تسلسل ثنائي ومكتبة .NET تنفذ مواصفات Protocol Buffers. يعمل كأداة تسلسل تعتمد على المخطط (schema) ومخطط بيانات يعتمد على العقد (contract-first)، حيث يقوم بتحويل رسوم بيانية معقدة للكائنات إلى تنسيق ثنائي مضغوط للتخزين ونقل الشبكة. تمكن المكتبة تبادل البيانات عبر المنصات والشبكات عالية الأداء عن طريق تقليل أحجام الحمولة ووقت المعالجة. تدعم بشكل خاص استمرارية هرمية الكائنات، مما يسمح بتسلسل وإعادة بناء هياكل الفئات المعقدة التي تتضمن الوراثة والأنواع المشتقة. يغطي المشروع القدرات الأساسية بما في ذلك تسلسل وإلغاء تسلسل البيانات الثنائية، وإنشاء الفئات القائم على المخطط، وإدارة وراثة النوع من خلال معرفات فريدة. يوفر آليات لتعيين هياكل البيانات عبر سمات ثابتة أو تكوينات وقت تشغيل ديناميكية.
Reconstructs complex .NET objects from raw binary streams to restore original application state.
هذا المشروع عبارة عن مكتبة وإطار عمل Protocol Buffers لـ Swift يوفر وقت تشغيل (runtime) لتسلسل وإلغاء تسلسل البيانات المهيكلة. يتضمن مولد كود يحول ملفات المخطط (schema) إلى هياكل Swift آمنة من حيث النوع، وإطار عمل للتسلسل الثنائي لتحويل البيانات إلى تدفقات مضغوطة. تعمل المكتبة كأداة تعيين بيانات JSON، حيث تحول الرسائل إلى تمثيلات JSON قياسية لتسهيل تبادل البيانات عبر المنصات. تستخدم نهجًا يعتمد على المخطط لضمان نمذجة بيانات متسقة بين تطبيقات Swift والخدمات المكتوبة بلغات أخرى. يغطي إطار العمل تسلسل وإلغاء تسلسل البيانات الثنائية و JSON، باستخدام مكتبة وقت تشغيل تعتمد على الواجهات للتعامل مع هذه التنسيقات عبر الرسائل المولدة.
Reconstructs structured data from compact binary streams using predefined protobuf schemas.
Prost is a Protocol Buffers implementation for Rust that functions as a binary serialization framework and code generator. It translates schema definitions into idiomatic Rust structs and enums, providing the logic necessary to encode and decode structured data into the Protocol Buffers binary format. The project distinguishes itself through a no-std implementation, allowing it to operate in embedded or kernel environments that lack a standard library. It also serves as a schema introspector by emitting file descriptor sets, which enables the programmatic analysis of original schema definitio
Transforms binary streams back into structured Rust data objects through efficient deserialization.
Fury هو إطار عمل تسلسلي ثنائي متعدد اللغات مصمم لتشفير كائنات المجال والرسوم البيانية المعقدة لتسهيل تبادل البيانات عبر اللغات. يتضمن مترجم لغة تعريف الواجهة (IDL) الذي يترجم تعريفات المخطط إلى أنواع أصلية اصطلاحية ونصوص تسلسلية عبر لغات متعددة. يتميز المشروع بقارئ ثنائي بدون نسخ (zero-copy) يسمح بالوصول إلى حقول محددة دون إلغاء تسلسل الكائن بالكامل، بالإضافة إلى مسلسل رسوم بيانية للكائنات يحافظ على المراجع الدائرية وسلامة المراجع. كما يتميز بمحول بيانات يحول البيانات الثنائية القائمة على الصفوف إلى تنسيقات Apache Arrow القائمة على الأعمدة لأحمال العمل التحليلية. يغطي إطار العمل مجالات قدرة واسعة بما في ذلك تطور المخطط القائم على البيانات الوصفية للتوافق للأمام وللخلف، وعملية تجميع AOT في وقت البناء للقضاء على الانعكاس في وقت التشغيل، وإلغاء التسلسل الآمن عبر التحقق من النوع القائم على القائمة البيضاء. كما يوفر تكاملاً لاستدعاءات الإجراءات عن بُعد عالية الأداء من خلال gRPC.
Reconstructs original typed objects from binary payloads using a shared schema to ensure type safety.
fastjson2 is a high-performance Java library used for serializing and deserializing Java objects to and from JSON strings and byte arrays. It functions as a binary JSON serializer for encoding objects into optimized binary formats to reduce payload size and increase processing speed. The project includes a JSONPath query engine for extracting specific data and fields from JSON documents using standardized path expressions and filters. It also serves as a JSON schema validator, providing utilities to generate data contracts and validate JSON input against defined schemas to ensure structural c
Reconstructs Java objects from binary data using embedded type information for automatic resolution.
Fory is a cross-language serialization framework and binary data serializer designed to convert complex object graphs into a compact binary format for high-performance data exchange. It includes an IDL-based schema compiler to transform interface definition language files into type-safe native data models and a schema evolution manager to maintain forward and backward compatibility. The project features a zero-copy data access layer that allows reading specific fields from binary rows without deserializing the entire object. It supports dual-mode serialization, enabling a toggle between a por
Reconstructs native language objects from binary streams based on a shared schema.
NBTExplorer is a viewer and editor for Named Binary Tag data. It functions as a processor for the hierarchical binary tag files used within Minecraft save files and game configuration. The tool enables the exploration and modification of game world settings, player data, and entity states. It supports reading and updating structured binary data across standard, uncompressed, and region-based file formats. The project provides capabilities for binary tag deserialization and in-place modification. It handles data through buffered stream reading, zlib-based decompression, and region-file indexi
Implements binary deserialization to convert raw NBT streams into structured tree objects.