2 repositorios
Awesome GitHub RepositoriesDisk IO Optimization
Techniques for minimizing data movement between kernel and application during persistence operations.
Distinct from Zero-Copy: Distinct from serialization zero-copy by focusing on the physical disk I/O path rather than memory layout.
Explore 2 awesome GitHub repositories matching data & databases · Disk IO Optimization. Refine with filters or upvote what's useful.
Awesome Disk IO Optimization GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- infinyon/fluvio
infinyon/fluvio
5,231Ver en GitHubFluvio es una plataforma de streaming de eventos distribuida y motor de streaming nativo de la nube, diseñado para recopilar, persistir y replicar flujos de datos en tiempo real a través de un clúster distribuido. Funciona como un pipeline de datos en tiempo real para construir flujos de trabajo con estado que ingieren, enriquecen y exportan datos entre fuentes y destinos externos. La plataforma se distingue por su uso de WebAssembly para ejecutar módulos compilados para transformaciones y filtrado de datos en línea. Esto permite la ejecución de lógica de negocio personalizada para remodelar la información en movimiento sin requerir un reinicio del clúster. El sistema cubre una amplia gama de capacidades, incluyendo ingesta de datos basada en conectores desde protocolos externos, almacenamiento inmutable estructurado en registros con E/S de copia cero y escalado horizontal del clúster. Admite la creación de pipelines complejos basados en eventos que utilizan procesamiento con estado, agregaciones en ventanas y distribución de datos basada en particiones. El motor puede desplegarse como un binario ligero en diversas arquitecturas de sistema, incluyendo dispositivos IoT ARM64 para procesamiento de datos en el borde (edge).
Implements zero-copy disk IO to persist immutable event records while minimizing memory copying overhead.
Rust - axboe/liburing
axboe/liburing
3,690Ver en GitHubliburing is a C library that provides a low-level wrapper for the Linux kernel io_uring interface. It serves as a programming interface for executing non-blocking disk and network operations and abstracts the system calls required to communicate with the Linux kernel. The library focuses on reducing system call overhead and context switching for high-throughput data processing. It implements mechanisms for shared ring buffers, zero-copy buffer registration, and fixed-file descriptor mapping to minimize internal lookup and reference counting overhead. The project covers asynchronous input and
Provides asynchronous disk I/O operations to maximize throughput and prevent application blocking on hardware latency.
C
