5 dépôts
Data storage formats optimized for cache locality and reduced object overhead.
Distinguishing note: Focuses on low-level memory layout rather than high-level database operations.
Explore 5 awesome GitHub repositories matching data & databases · Memory-Mapped Data Structures. Refine with filters or upvote what's useful.
This project is an interactive data science environment that combines code execution, rich media visualization, and narrative documentation into a persistent, browser-based platform. It serves as a comprehensive educational resource for scientific computing, providing a framework for iterative data analysis and machine learning prototyping. The environment is distinguished by its focus on high-performance numerical computing, utilizing vectorized array operations and memory-mapped data structures to handle large-scale computations efficiently. It features a unified estimator interface that st
Stores data in contiguous memory buffers to optimize cache locality and reduce overhead.
node-ffi est une bibliothèque d'interface de fonction étrangère (FFI) pour Node.js qui permet d'appeler des fonctions depuis des bibliothèques dynamiques C natives sans écrire de bindings C++ manuels. Il sert de système pour charger des objets partagés et des DLL en mémoire de processus, traduire des valeurs JavaScript en représentations binaires et exécuter des binaires externes au runtime. Le projet utilise un wrapper autour de la bibliothèque libffi pour construire des frames d'appel et exécuter des fonctions natives avec des arguments dynamiques. Il se distingue en fournissant un gestionnaire de mémoire native pour allouer des pointeurs bruts et un système de mapping qui connecte des structures C complexes à des objets JavaScript. La boîte à outils couvre un large éventail de capacités d'interopérabilité native, incluant la traduction automatique des types de données et la création de stubs de mémoire exécutables permettant aux bibliothèques natives de déclencher des callbacks JavaScript. Pour maintenir la réactivité du thread principal, il prend en charge un modèle d'exécution asynchrone qui décharge les appels de fonctions natives vers un pool de threads séparé.
Connects complex C data structures to JavaScript objects for efficient reading and writing of structured memory blocks.
rkyv est un framework de désérialisation zero-copy pour Rust qui fournit un format de sérialisation binaire pour les archives de données mappables en mémoire. Il permet aux structures de données complexes d'être mappées en octets et accédées directement depuis un tampon sans allouer de nouvelle mémoire ou copier des données. Le projet permet la sérialisation de types polymorphes et d'objets trait, maintenant leur comportement dynamique et leur structure sous forme binaire. Il utilise l'adressage par pointeur relatif et le packing de structure aligné sur les octets pour garantir que les données restent valides quel que soit l'endroit où elles sont chargées en mémoire. Le framework couvre la persistance de données haute performance et la gestion d'état à faible latence via le mappage mémoire direct. Il fournit des mécanismes à la fois pour l'accès aux données zero-copy et la reconstruction complète des types de données lorsque requis par l'application.
Transforms data structures into memory-mapped formats optimized for cache locality and reduced overhead.
HyperDbg is a hardware-assisted kernel-mode debugging platform that leverages virtualization to monitor and control system execution. By utilizing hypervisor-level primitives, it enables deep system analysis and instrumentation without relying on standard operating system debugging interfaces. The framework provides a comprehensive environment for inspecting both kernel and user-mode processes, allowing for granular control over execution flow and system state. The project distinguishes itself through a transparent debugging layer designed to remain invisible to the target environment. It emp
Overlays defined data structures onto specific memory addresses to read or modify internal system values during debugging.
WinDirStat is a disk usage visualizer and storage analysis tool designed to scan drives and represent file and folder sizes. It functions as a system for calculating subtree sizes and identifying storage bottlenecks on a local file system. The utility distinguishes itself through a proportional treemap and an interactive directory tree, where the area of each block corresponds to the size of the file. It utilizes an extension-based color mapping system to categorize data types visually and provides a reporter that aggregates storage consumption by file type. The software covers broad storage
Implements memory-mapped data structures to store the hierarchical file tree for optimized navigation and rendering performance.