4 dépôts
Techniques and structures used to minimize physical disk reads and optimize data retrieval paths.
Distinct from High Performance I/O Engines: Focuses on the database-level logic of avoiding disk reads (e.g. bloom filters) rather than low-level OS I/O engines.
Explore 4 awesome GitHub repositories matching data & databases · Disk I/O Optimizations. Refine with filters or upvote what's useful.
goleveldb est une base de données de stockage clé-valeur embarquée pour Go. Elle fournit une persistance et une indexation des données locales, permettant aux applications de stocker et de récupérer des informations en utilisant des clés uniques sans nécessiter de serveur séparé. La base de données organise les données en utilisant un arbre de fusion structuré en journal (LSM-tree) et une indexation persistante dans l'ordre lexicographique. Cette structure prend en charge les scans de plage efficaces et les recherches basées sur les préfixes. Le système inclut des capacités pour les écritures par lots atomiques afin d'assurer la cohérence des données et d'éviter les mises à jour partielles. Les performances sont gérées via le write-ahead logging, la mise en mémoire tampon et les filtres de Bloom pour réduire les entrées/sorties disque inutiles.
Reduces disk reads by using specialized structures to verify key existence before accessing physical storage.
Ce projet est un guide complet et une collection de meilleures pratiques pour tester les applications backend Node.js. Il fournit un ensemble curaté de modèles et d'exemples de référence pour écrire des tests unitaires, d'intégration et de composants fiables. Le projet se distingue par des stratégies spécifiques pour l'intégration backend, y compris des méthodes détaillées pour les tests de contrat API par rapport aux spécifications OpenAPI et aux schémas partagés. Il offre des conseils spécialisés sur la gestion des tests de file d'attente de messages, en se concentrant sur l'idempotence, la résilience et la synchronisation asynchrone des événements. Le guide couvre une large gamme de domaines de capacité, y compris l'isolation et le nettoyage de l'état de la base de données, le mocking des dépendances externes via des intercepteurs réseau et des stubs typés, et l'automatisation de l'infrastructure de test conteneurisée. Il aborde également l'optimisation des performances pour les suites de tests via l'utilisation de disques RAM et de moteurs mémoire pour le stockage des données.
Maps database storage to memory engines or RAM disks to reduce physical disk latency during test execution.
Orioledb est un moteur de stockage cloud-native pour PostgreSQL conçu pour remplacer la couche de stockage par défaut afin d'améliorer l'évolutivité verticale et les performances sur le matériel moderne. Il fonctionne comme un magasin de tables organisé par index, organisant les lignes de table directement au sein de l'index primaire pour accélérer la récupération des données. Le moteur utilise un système de stockage de journal d'annulation (undo log) pour gérer le versionnage des données, ce qui élimine le besoin de vacuuming manuel et empêche le gonflement des tables. Il réduit en outre l'empreinte disque via la compression de données au niveau des blocs et des pages. Le projet fournit des capacités pour la gestion avancée des index et la maintenance automatisée des bases de données. Il inclut des fonctionnalités pour la récupération haute disponibilité via la journalisation au niveau des lignes, ainsi que des outils pour analyser l'utilisation de l'espace et vérifier l'intégrité des tables.
Reduces disk I/O and lock contention to increase transaction speeds during heavy insert and update workloads.
Aria2-Pro-Docker is a containerized deployment of the Aria2 download utility, providing a multi-protocol download manager capable of fetching files via HTTP, HTTPS, SFTP, and Metalink. It includes a BitTorrent client and a remote procedure call interface that allows external clients to manage download tasks using secret token authentication. The image features an automated torrent tracker updater to maximize peer discovery and maintain high download speeds. It further optimizes performance through concurrent connection threading, disk I/O caching, and IPv6 network discovery to accelerate reso
Improves read/write speeds and reduces drive wear by optimizing internal disk cache sizes.