5 Repos
Data storage formats optimized for cache locality and reduced object overhead.
Distinguishing note: Focuses on low-level memory layout rather than high-level database operations.
Explore 5 awesome GitHub repositories matching data & databases · Memory-Mapped Data Structures. Refine with filters or upvote what's useful.
This project is an interactive data science environment that combines code execution, rich media visualization, and narrative documentation into a persistent, browser-based platform. It serves as a comprehensive educational resource for scientific computing, providing a framework for iterative data analysis and machine learning prototyping. The environment is distinguished by its focus on high-performance numerical computing, utilizing vectorized array operations and memory-mapped data structures to handle large-scale computations efficiently. It features a unified estimator interface that st
Stores data in contiguous memory buffers to optimize cache locality and reduce overhead.
node-ffi ist eine Foreign Function Interface-Bibliothek für Node.js, die den Aufruf von Funktionen aus nativen C-Dynamic-Libraries ermöglicht, ohne manuelle C++-Bindings schreiben zu müssen. Sie dient als System zum Laden von Shared Objects und DLLs in den Prozessspeicher, zur Übersetzung von JavaScript-Werten in binäre Repräsentationen und zur Ausführung externer Binärdateien zur Laufzeit. Das Projekt nutzt einen Wrapper um die libffi-Bibliothek, um Call-Frames zu konstruieren und native Funktionen mit dynamischen Argumenten auszuführen. Es zeichnet sich durch einen nativen Speicher-Manager zur Allokation von Raw-Pointern und ein Mapping-System aus, das komplexe C-Strukturen mit JavaScript-Objekten verbindet. Das Toolkit deckt ein breites Spektrum an nativer Interoperabilität ab, einschließlich automatischer Datentyp-Übersetzung und der Erstellung ausführbarer Speicher-Stubs, die es nativen Bibliotheken erlauben, JavaScript-Callbacks auszulösen. Um die Reaktionsfähigkeit des Main-Threads zu erhalten, unterstützt es ein asynchrones Ausführungsmodell, das native Funktionsaufrufe in einen separaten Thread-Pool auslagert.
Connects complex C data structures to JavaScript objects for efficient reading and writing of structured memory blocks.
rkyv ist ein Zero-Copy-Deserialisierungs-Framework für Rust, das ein binäres Serialisierungsformat für speicherabbildbare Datenarchive bereitstellt. Es ermöglicht, komplexe Datenstrukturen auf Bytes abzubilden und direkt aus einem Puffer zuzugreifen, ohne neuen Speicher zuzuweisen oder Daten zu kopieren. Das Projekt ermöglicht die Serialisierung polymorpher Typen und Trait-Objekte, wobei deren dynamisches Verhalten und Struktur innerhalb der binären Form beibehalten werden. Es nutzt relative Zeigeradressierung und byte-ausgerichtetes Struktur-Packing, um sicherzustellen, dass Daten unabhängig davon gültig bleiben, wo sie im Speicher geladen werden. Das Framework deckt hochperformante Datenpersistenz und latenzarmes Zustandsmanagement durch direktes Memory-Mapping ab. Es bietet Mechanismen sowohl für Zero-Copy-Datenzugriff als auch für die vollständige Rekonstruktion von Datentypen, wenn dies von der Anwendung benötigt wird.
Transforms data structures into memory-mapped formats optimized for cache locality and reduced overhead.
HyperDbg is a hardware-assisted kernel-mode debugging platform that leverages virtualization to monitor and control system execution. By utilizing hypervisor-level primitives, it enables deep system analysis and instrumentation without relying on standard operating system debugging interfaces. The framework provides a comprehensive environment for inspecting both kernel and user-mode processes, allowing for granular control over execution flow and system state. The project distinguishes itself through a transparent debugging layer designed to remain invisible to the target environment. It emp
Overlays defined data structures onto specific memory addresses to read or modify internal system values during debugging.
WinDirStat is a disk usage visualizer and storage analysis tool designed to scan drives and represent file and folder sizes. It functions as a system for calculating subtree sizes and identifying storage bottlenecks on a local file system. The utility distinguishes itself through a proportional treemap and an interactive directory tree, where the area of each block corresponds to the size of the file. It utilizes an extension-based color mapping system to categorize data types visually and provides a reporter that aggregates storage consumption by file type. The software covers broad storage
Implements memory-mapped data structures to store the hierarchical file tree for optimized navigation and rendering performance.