Awesome GitHub RepositoriesStorage Space Optimization

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k

This project is a pure Go implementation of the Git version control system, providing a library for integrating versioning and history analysis into applications. It functions as a complete repository manager and object store that does not require external binary dependencies. The implementation utilizes interface-based storage, allowing repositories to be managed on disk or entirely in memory. It supports a transactional storage model to ensure atomic operations and implements a content-addressable storage system using delta-compression packfiles. The library covers a broad range of version

fio est un outil de benchmarking de performance de stockage et un générateur de charges de travail I/O synthétiques. Il fonctionne comme un profileur de périphériques de stockage et un moteur de rejeu de traces I/O, permettant de mesurer le débit et la latence des périphériques de stockage et des systèmes de fichiers. Le projet se distingue par sa capacité à agir comme un testeur de stress de stockage distribué, gérant plusieurs backends de serveurs distants via un contrôleur unique pour évaluer le stockage réseau. Il inclut également des capacités spécialisées pour l'analyse de déduplication de stockage en générant des tampons de données redondants pour tester l'efficacité des sous-systèmes de déduplication. L'outil couvre un large éventail de capacités, incluant la simulation de charges de travail I/O complexes avec des tailles de blocs et une profondeur I/O contrôlables, l'analyse de l'inactivité CPU et la collecte de statistiques sur les périphériques. Il offre une observabilité via la visualisation des métriques de performance, des histogrammes de latence et un monitoring en régime permanent. Les charges de travail peuvent être déclenchées via des arguments en ligne de commande ou des fichiers de configuration détaillés pour automatiser des scénarios de benchmarking complexes.

Cuberite est un serveur de jeu multijoueur haute performance pour les clients Java Edition, conçu pour fournir un environnement à faible consommation de mémoire et de CPU pour héberger des espaces virtuels partagés. Le serveur est conçu pour un déploiement multiplateforme sur divers systèmes d'exploitation et types de matériel. Il permet l'extension des mécaniques de jeu et de la logique serveur via une interface de script Lua, permettant des changements de fonctionnalité sans recompiler le moteur principal. Le projet inclut des outils d'administration serveur via une console distante et la gestion des données du monde pour analyser les statistiques et optimiser le stockage des fichiers de sauvegarde. Des capacités supplémentaires couvrent la visualisation de la génération de biomes et l'analyse de dumps mémoire pour la surveillance des ressources.

Nominatim est un moteur de recherche géospatiale auto-hébergé et un serveur de géocodage qui utilise les données d'OpenStreetMap. Il fournit une infrastructure complète pour le géocodage direct, convertissant des adresses ou des noms de lieux en coordonnées géographiques, et le géocodage inverse, traduisant des coordonnées en adresses physiques lisibles par l'homme. Le projet dispose d'un importateur de données dédié qui analyse les données cartographiques brutes dans une base de données géospatiale PostgreSQL. Il se distingue par un pipeline d'importation configurable qui utilise des fichiers de style pour filtrer les entités cartographiques et un système de classement basé sur l'importance pour prioriser les résultats de recherche en fonction de la popularité et du type d'entité. Le système couvre un large éventail de capacités, y compris l'indexation spatiale, le calcul d'adresses hiérarchiques et l'indexation de recherche basée sur des jetons pour les recherches floues. Il prend en charge l'intégration de jeux de données externes pour les numéros de rue et les centroïdes de codes postaux, ainsi que la réplication incrémentale des données pour maintenir les jeux de données locaux synchronisés avec les sources mondiales. Le service est déployé en tant qu'application web basée sur ASGI, fournissant une API de recherche géospatiale avec prise en charge de plusieurs formats de sortie, notamment JSON, GeoJSON et XML.