4 repository-uri
Writing techniques that use disk-based buffering to handle datasets that exceed available system memory.
Distinct from Write Throughput Optimizations: Specific to memory-saving disk flushing for large files, rather than general database write throughput optimizations.
Explore 4 awesome GitHub repositories matching data & databases · Disk-Buffered Writing. Refine with filters or upvote what's useful.
This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation
Mentions splitting file content across disks for throughput as a conceptual topic.
Raspotify este un streamer audio headless pentru dispozitive Linux care funcționează ca un client Spotify Connect. Operează ca un daemon de sistem în fundal, permițând hardware-ului să acționeze ca un receptor audio wireless controlabil prin aplicația oficială Spotify. Serviciul este conceput pentru computere cu placă unică (SBC) și încorporează minimizarea scrierilor pe disc pentru a reduce uzura cardurilor SD. Realizează acest lucru prin redirecționarea bufferelor de piese audio către un sistem de fișiere în memorie (RAM disk). Proiectul include capabilități pentru configurarea calității audio, inclusiv ajustări ale bitrate-ului și ratei de eșantionare. De asemenea, gestionează autentificarea prin cache-ul local de token-uri pentru a menține conexiuni persistente fără fluxuri repetate de login.
Reduces physical disk writes by buffering track downloads in system memory rather than on the SD card.
ipscan este un auditor de rețea cross-platform și un scanner de rețea bazat pe Java, utilizat pentru descoperirea dispozitivelor din rețea și exportarea rezultatelor scanării. Funcționează ca un scanner de intervale de adrese IP și un scanner de porturi TCP/UDP pentru a identifica host-urile active și serviciile deschise într-o rețea. Aplicația dispune de o arhitectură de fetcher bazată pe plugin-uri care permite integrarea unor fetchere de colectare a datelor personalizate pentru a prelua informații specifice despre hardware sau software de la host-urile descoperite. Capabilitățile sale mai largi includ descoperirea rețelei locale, auditarea porturilor de rețea și crearea de inventare de active de rețea. Utilizatorii pot interacționa cu software-ul printr-o interfață grafică cu scalare pentru ecrane de înaltă densitate sau prin interfața linie de comandă pentru scanare automatizată.
Implements disk-buffered writing to export large scan datasets without causing memory overflow.
XlsxWriter is a library for generating spreadsheets in the XLSX format, functioning as an Excel workbook writer and file generator. It provides the capability to write data, apply cell formatting, and build complex layouts across multiple worksheets. The project distinguishes itself with a memory-optimized writing mode that flushes large datasets to disk row-by-row, enabling the creation of files exceeding 4 GB while minimizing RAM consumption. It also includes a specialized mechanism for embedding binary project files and digital signatures to enable VBA macros and signed scripts within work
Writes extensive datasets to disk without consuming excessive RAM through a specialized memory-optimized mode.