7 repositorios
Processes for reclaiming disk space by removing obsolete historical state data.
Distinguishing note: Focuses on state-specific pruning rather than general database maintenance.
Explore 7 awesome GitHub repositories matching data & databases · State Pruning. Refine with filters or upvote what's useful.
Geth is a comprehensive execution client for the Ethereum network, serving as a foundational node implementation that processes transactions, maintains the distributed ledger state, and participates in peer-to-peer consensus. It provides a robust infrastructure for synchronizing, validating, and serving blockchain data, utilizing a persistent Merkle Patricia Trie database to ensure the cryptographic integrity of historical records. As a sandboxed smart contract runtime, it executes bytecode according to deterministic protocol rules, enabling the deployment and interaction of decentralized appl
Reclaims disk space by removing obsolete historical state data after snapshot generation.
NodeBB is a real-time, self-hosted community forum platform built on Node.js. It is designed to support scalable discussion environments by utilizing a document-oriented database for content storage and an in-memory engine for high-speed data retrieval and session management. The platform provides a comprehensive administrative interface for managing user groups, forum settings, and system health. What distinguishes the platform is its native support for federated social networking via the ActivityPub protocol, allowing forums to exchange content, synchronize discussions, and interact with de
Automatically deletes transient data and inactive user profiles on a recurring schedule to manage database growth.
Optuna is a Python-based hyperparameter optimization framework designed to automate the search for optimal machine learning model configurations. It functions as a Bayesian optimization library that systematically tests parameter combinations to maximize or minimize objective functions, streamlining the model development process through iterative evaluation. The project distinguishes itself through a define-by-run dynamic construction model, which allows users to build complex, conditional search spaces using standard programming logic. Its architecture is highly modular, featuring a pluggabl
Interrupts trial execution when intermediate results indicate poor performance, allowing the system to reclaim resources.
Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res
Removes old block and state data to reduce storage usage while preserving recent history.
Loro is a conflict-free replicated data type (CRDT) framework and collaborative state engine designed for building real-time collaborative applications. It provides a distributed data synchronizer that enables multiple users to edit shared documents and complex nested structures—such as maps, lists, trees, and counters—with automatic state convergence without requiring a central server. The project distinguishes itself through a versioned document store that supports branching, forking, and merging via a directed acyclic graph of causal operation history. It enables advanced version control c
Provides state pruning to remove obsolete historical operations and reduce memory usage while preserving the current state.
Grin es una implementación de protocolo y nodo de blockchain que proporciona un sistema de transacciones confidenciales. Utiliza compromisos de Pedersen (Pedersen Commitments) y cifrado homomórfico para verificar la integridad del valor y garantizar un suministro monetario consistente sin revelar montos de transacción específicos o identidades de los participantes. El proyecto se distingue por un modelo de intercambio de transacciones interactivo, donde las billeteras coordinan intercambios de datos de múltiples rondas para construir transacciones firmadas. Para mantener el anonimato, el sistema admite la entrega de transacciones mediante enrutamiento cebolla (onion-routing) y enmascara las direcciones IP de origen a través de mecanismos de retransmisión especializados. También incorpora prueba de trabajo (proof-of-work) resistente a memoria para resistir el dominio de la minería ASIC y utiliza un modelo de libro mayor de poda de estado con almacenamiento Merkle Mountain Range para reducir la huella de disco de la blockchain. El código base cubre un amplio conjunto de capacidades, incluyendo la ejecución de intercambios atómicos cross-chain sin confianza, la gestión de billeteras deterministas jerárquicas y la operación de nodos de red completos. Proporciona herramientas para minería limitada por memoria, ejecución de contratos criptográficos mediante timelocks y comunicación segura cliente-servidor utilizando cifrado autenticado. El nodo puede desplegarse como una imagen de contenedor con soporte para persistir datos de caché.
Reduces blockchain disk footprint by removing spent output commitments and range proofs from local storage.
Cartography es un framework de visualización de infraestructura y análisis de seguridad basado en grafos. Ingiere datos de diversos proveedores de nube, identidad y software-as-a-service para modelar relaciones complejas entre recursos, usuarios y hallazgos de seguridad dentro de una base de datos de grafos centralizada. Al mapear estas interdependencias, la plataforma permite a las organizaciones obtener visibilidad de su entorno e identificar posibles riesgos de seguridad mediante consultas de recorrido de grafos. La plataforma se distingue por su normalización basada en ontologías y correlación de entidades multiplataforma, que mapean datos heterogéneos de múltiples fuentes en un modelo unificado y consistente. Emplea pipelines de ingestión modulares y filtrado basado en esquemas para mantener este grafo, asegurando que los datos de infraestructura permanezcan precisos mediante la poda automatizada basada en el estado de nodos obsoletos. Este enfoque permite el descubrimiento de rutas de ataque complejas y configuraciones de seguridad erróneas que abarcan sistemas dispares de nube, dispositivos y gestión de identidades. Más allá del modelado central, el sistema proporciona capacidades extensas para el inventario de activos, gobernanza de identidades y análisis de la cadena de suministro de software. Admite una amplia gama de integraciones, incluyendo recursos de computación y redes nativos de la nube, telemetría de gestión de endpoints y metadatos del ciclo de vida de desarrollo. Los usuarios pueden extender la funcionalidad de la plataforma definiendo reglas de seguridad personalizadas, añadiendo trabajos de análisis de datos especializados o integrando nuevas fuentes de inteligencia a través de su framework modular. El proyecto está implementado en Python y proporciona documentación para configurar módulos de ingestión y definir consultas de grafos personalizadas.
Maintains data accuracy by automatically removing nodes and relationships that were not updated during the latest synchronization cycle.