7 dépôts
Processes for reclaiming disk space by removing obsolete historical state data.
Distinguishing note: Focuses on state-specific pruning rather than general database maintenance.
Explore 7 awesome GitHub repositories matching data & databases · State Pruning. Refine with filters or upvote what's useful.
Geth is a comprehensive execution client for the Ethereum network, serving as a foundational node implementation that processes transactions, maintains the distributed ledger state, and participates in peer-to-peer consensus. It provides a robust infrastructure for synchronizing, validating, and serving blockchain data, utilizing a persistent Merkle Patricia Trie database to ensure the cryptographic integrity of historical records. As a sandboxed smart contract runtime, it executes bytecode according to deterministic protocol rules, enabling the deployment and interaction of decentralized appl
Reclaims disk space by removing obsolete historical state data after snapshot generation.
NodeBB is a real-time, self-hosted community forum platform built on Node.js. It is designed to support scalable discussion environments by utilizing a document-oriented database for content storage and an in-memory engine for high-speed data retrieval and session management. The platform provides a comprehensive administrative interface for managing user groups, forum settings, and system health. What distinguishes the platform is its native support for federated social networking via the ActivityPub protocol, allowing forums to exchange content, synchronize discussions, and interact with de
Automatically deletes transient data and inactive user profiles on a recurring schedule to manage database growth.
Optuna is a Python-based hyperparameter optimization framework designed to automate the search for optimal machine learning model configurations. It functions as a Bayesian optimization library that systematically tests parameter combinations to maximize or minimize objective functions, streamlining the model development process through iterative evaluation. The project distinguishes itself through a define-by-run dynamic construction model, which allows users to build complex, conditional search spaces using standard programming logic. Its architecture is highly modular, featuring a pluggabl
Interrupts trial execution when intermediate results indicate poor performance, allowing the system to reclaim resources.
Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res
Removes old block and state data to reduce storage usage while preserving recent history.
Loro is a conflict-free replicated data type (CRDT) framework and collaborative state engine designed for building real-time collaborative applications. It provides a distributed data synchronizer that enables multiple users to edit shared documents and complex nested structures—such as maps, lists, trees, and counters—with automatic state convergence without requiring a central server. The project distinguishes itself through a versioned document store that supports branching, forking, and merging via a directed acyclic graph of causal operation history. It enables advanced version control c
Provides state pruning to remove obsolete historical operations and reduce memory usage while preserving the current state.
Grin est une implémentation de protocole et un nœud blockchain qui fournit un système de transaction confidentiel. Il utilise des engagements de Pedersen et le chiffrement homomorphe pour vérifier l'intégrité de la valeur et assurer une masse monétaire cohérente sans révéler les montants spécifiques des transactions ou les identités des participants. Le projet se distingue par un modèle d'échange de transactions interactif, où les portefeuilles coordonnent des échanges de données en plusieurs rounds pour construire des transactions signées. Pour maintenir l'anonymat, le système prend en charge la livraison de transactions routées en oignon et masque les adresses IP d'origine via des mécanismes de relais spécialisés. Il incorpore également une preuve de travail (PoW) gourmande en mémoire pour résister à la domination du minage ASIC et utilise un modèle de registre à élagage d'état avec un stockage Merkle Mountain Range pour réduire l'empreinte disque de la blockchain. La base de code couvre un large ensemble de capacités, incluant l'exécution d'échanges atomiques cross-chain sans confiance, la gestion de portefeuilles déterministes hiérarchiques et l'opération de nœuds réseau complets. Elle fournit des outils pour le minage limité par la mémoire, l'exécution de contrats cryptographiques via des timelocks, et la communication client-serveur sécurisée utilisant le chiffrement authentifié. Le nœud peut être déployé en tant qu'image de conteneur avec un support pour la persistance des données de cache.
Reduces blockchain disk footprint by removing spent output commitments and range proofs from local storage.
Cartography est un framework de visualisation d'infrastructure et d'analyse de sécurité basé sur les graphes. Il ingère des données provenant de divers fournisseurs cloud, d'identité et de logiciels en tant que service (SaaS) pour modéliser des relations complexes entre les ressources, les utilisateurs et les résultats de sécurité au sein d'une base de données de graphes centralisée. En cartographiant ces interdépendances, la plateforme permet aux organisations d'obtenir une visibilité sur leur environnement et d'identifier les risques de sécurité potentiels via des requêtes de parcours de graphes. La plateforme se distingue par sa normalisation basée sur l'ontologie et sa corrélation d'entités multiplateforme, qui mappent des données hétérogènes provenant de sources multiples dans un modèle unifié et cohérent. Elle emploie des pipelines d'ingestion modulaires et un filtrage basé sur les schémas pour maintenir ce graphe, garantissant que les données d'infrastructure restent précises grâce à l'élagage automatisé des nœuds obsolètes basé sur l'état. Cette approche permet la découverte de chemins d'attaque complexes et de mauvaises configurations de sécurité qui s'étendent sur des systèmes disparates de cloud, d'appareils et de gestion des identités. Au-delà de la modélisation de base, le système fournit des capacités étendues pour l'inventaire des actifs, la gouvernance des identités et l'analyse de la chaîne d'approvisionnement logicielle. Il prend en charge un large éventail d'intégrations, incluant les ressources de calcul et de réseau cloud-native, la télémétrie de gestion des terminaux et les métadonnées du cycle de vie du développement. Les utilisateurs peuvent étendre les fonctionnalités de la plateforme en définissant des règles de sécurité personnalisées, en ajoutant des tâches d'analyse de données spécialisées ou en intégrant de nouvelles sources de renseignement via son framework modulaire. Le projet est implémenté en Python et fournit une documentation pour configurer les modules d'ingestion et définir des requêtes de graphes personnalisées.
Maintains data accuracy by automatically removing nodes and relationships that were not updated during the latest synchronization cycle.