3 repositorios
Use of SIMD and other hardware-level instructions to accelerate JSON serialization and deserialization.
Distinct from Hardware Acceleration: Shortlist candidates focus on GPUs or general data processing; this is specifically SIMD-driven JSON throughput.
Explore 3 awesome GitHub repositories matching operating systems & systems programming · Hardware-Accelerated JSON Processing. Refine with filters or upvote what's useful.
Sonic is a high-performance Go JSON serialization library that provides tools for encoding and decoding native data structures. It functions as a JIT-accelerated encoder, a JSON AST parser, a stream processor, and a lazy decoder. The project utilizes just-in-time machine code generation to optimize the encoding of large data schemas and employs a JIT assembler to maximize serialization and deserialization speeds. It features a precompiled schema warmup process to prevent latency spikes during initial execution and leverages SIMD hardware instructions for accelerated parsing. The library cove
Implements hardware-accelerated conversion of native data structures to JSON strings and back.
yyjson is a high-performance C library for parsing, serializing, and manipulating JSON data structures. It functions as a memory-efficient data tool that utilizes custom memory pools and contiguous block allocation to minimize fragmentation and overhead. The project distinguishes itself as a SIMD JSON processor, using hardware-accelerated vector instructions for rapid string validation and parsing. It provides a toolkit for querying, modifying, and patching nested JSON objects and arrays through pointer-based access and path expressions. The library covers a broad range of data manipulation
Utilizes SIMD hardware instructions to accelerate the scanning and validation of large JSON text streams.
Este proyecto es una biblioteca de análisis JSON de alto rendimiento para Rust que utiliza instrucciones aceleradas por hardware para procesar estructuras de datos complejas. Funciona como una herramienta de serialización con seguridad de tipos, mapeando cadenas JSON brutas a objetos de lenguaje nativos mientras proporciona la flexibilidad para manejar estructuras de documentos dinámicas cuando los esquemas son desconocidos o cambian con frecuencia. La biblioteca destaca por su uso de análisis acelerado por SIMD e identificación estructural basada en máscaras de bits, que le permiten escanear y tokenizar documentos procesando múltiples bytes simultáneamente. Emplea despacho de instrucciones en tiempo ejecución para detectar las capacidades del procesador host, asegurando que se seleccione el conjunto de instrucciones más eficiente para el entorno de hardware actual. Para mejorar aún más el rendimiento, el motor utiliza una representación de documento basada en cinta y acceso a datos de copia cero, que minimizan las asignaciones de memoria y el seguimiento de punteros durante el recorrido. Más allá de sus capacidades de análisis central, la biblioteca admite el procesamiento de grandes valores numéricos que exceden la capacidad de los tipos enteros o de punto flotante estándar. Se integra con interfaces de serialización estándar para asegurar un manejo de datos consistente y proporciona búsquedas hash optimizadas para gestionar claves de objetos. El proyecto se distribuye como un crate, proporcionando una interfaz estandarizada para que los desarrolladores incorporen el procesamiento de datos de alta velocidad en sus aplicaciones.
Provides high-performance JSON parsing by leveraging SIMD instructions and runtime-detected hardware optimizations to maximize data throughput.