4 repositorios
Writing techniques that use disk-based buffering to handle datasets that exceed available system memory.
Distinct from Write Throughput Optimizations: Specific to memory-saving disk flushing for large files, rather than general database write throughput optimizations.
Explore 4 awesome GitHub repositories matching data & databases · Disk-Buffered Writing. Refine with filters or upvote what's useful.
This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation
Mentions splitting file content across disks for throughput as a conceptual topic.
Raspotify es un streamer de audio headless para dispositivos Linux que funciona como un cliente de Spotify Connect. Opera como un demonio de sistema en segundo plano, permitiendo que el hardware actúe como un receptor de audio inalámbrico controlable a través de la aplicación oficial de Spotify. El servicio está diseñado para computadoras de placa única e incorpora la minimización de escritura en disco para reducir el desgaste de la tarjeta SD. Logra esto redirigiendo los buffers de pistas de audio a un sistema de archivos en memoria. El proyecto incluye capacidades para la configuración de la calidad de audio, incluyendo ajustes de bitrate y frecuencia de muestreo. También gestiona la autenticación mediante caché de tokens local para mantener conexiones persistentes sin flujos de inicio de sesión repetidos.
Reduces physical disk writes by buffering track downloads in system memory rather than on the SD card.
ipscan es un auditor de red multiplataforma y escáner de red basado en Java utilizado para descubrir dispositivos en red y exportar resultados de escaneo. Funciona como un escáner de rango de direcciones IP y un escáner de puertos TCP/UDP para identificar hosts activos y servicios abiertos en una red. La aplicación cuenta con una arquitectura de capturadores basada en plugins que permite la integración de capturadores de recolección de datos personalizados para recuperar información específica de hardware o software de los hosts descubiertos. Sus capacidades más amplias incluyen el descubrimiento de redes locales, la auditoría de puertos de red y la creación de inventarios de activos de red. Los usuarios pueden interactuar con el software a través de una interfaz gráfica de usuario con escalado de pantalla de alta densidad o mediante una interfaz de línea de comandos para escaneos automatizados.
Implements disk-buffered writing to export large scan datasets without causing memory overflow.
XlsxWriter is a library for generating spreadsheets in the XLSX format, functioning as an Excel workbook writer and file generator. It provides the capability to write data, apply cell formatting, and build complex layouts across multiple worksheets. The project distinguishes itself with a memory-optimized writing mode that flushes large datasets to disk row-by-row, enabling the creation of files exceeding 4 GB while minimizing RAM consumption. It also includes a specialized mechanism for embedding binary project files and digital signatures to enable VBA macros and signed scripts within work
Writes extensive datasets to disk without consuming excessive RAM through a specialized memory-optimized mode.