Awesome GitHub RepositoriesStorage Space Optimization

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Sled is an embedded key-value store and ACID-compliant database designed for high-performance data persistence. It functions as a log-structured storage engine that organizes data using B+ trees to support efficient range queries and prefix scans. The engine implements a zero-copy data store model, utilizing epoch-based reclamation to provide direct references to cached values without memory allocations. It distinguishes itself through a combination of write-ahead logging, page cache optimizations to reduce write amplification on flash storage, and serializable transactions for atomic multi-k

This project is a pure Go implementation of the Git version control system, providing a library for integrating versioning and history analysis into applications. It functions as a complete repository manager and object store that does not require external binary dependencies. The implementation utilizes interface-based storage, allowing repositories to be managed on disk or entirely in memory. It supports a transactional storage model to ensure atomic operations and implements a content-addressable storage system using delta-compression packfiles. The library covers a broad range of version

fio este un instrument de benchmarking pentru performanța stocării și un generator sintetic de sarcini I/O. Acesta funcționează ca un profiler de dispozitive de stocare și un motor de replay pentru urme I/O, permițând măsurarea throughput-ului și a latenței pentru dispozitivele de stocare și sistemele de fișiere. Proiectul se distinge prin capacitatea sa de a acționa ca un tester de stres pentru stocarea distribuită, gestionând mai multe backend-uri de server la distanță printr-un singur controler pentru a evalua stocarea în rețea. Include, de asemenea, capabilități specializate pentru analiza deduplicării stocării prin generarea de buffere de date redundante pentru a testa eficiența subsistemelor de deduplicare. Instrumentul acoperă o gamă largă de capabilități, inclusiv simularea sarcinilor I/O complexe cu dimensiuni de bloc și adâncime I/O controlabile, analiza inactivității CPU și colectarea statisticilor dispozitivelor. Oferă observabilitate prin vizualizarea metricilor de performanță, histograme de latență și monitorizarea stării de echilibru (steady-state). Sarcinile pot fi declanșate prin argumente de linie de comandă sau fișiere de configurare detaliate pentru a automatiza scenarii complexe de benchmarking.

Cuberite is a high-performance multiplayer game server for Java Edition clients, designed to provide a low-memory and low-CPU environment for hosting shared virtual spaces. The server is built for cross-platform deployment across various operating systems and hardware types. It allows for the extension of game mechanics and server logic through a Lua scripting interface, enabling functionality changes without recompiling the core engine. The project includes tools for server administration via a remote console and world data management for analyzing statistics and optimizing save file storag

Nominatim este un motor de căutare geospațială self-hosted și un server de geocodare care utilizează date OpenStreetMap. Oferă o infrastructură completă pentru geocodare directă, convertind adresele sau numele locurilor în coordonate geografice, și geocodare inversă, traducând coordonatele în adrese fizice lizibile pentru oameni. Proiectul dispune de un importator de date dedicat care parsează datele brute de hartă într-o bază de date geospațială PostgreSQL. Se distinge printr-un pipeline de import configurabil care utilizează fișiere de stil pentru a filtra caracteristicile hărții și un sistem de clasificare bazat pe importanță pentru a prioritiza rezultatele căutării pe baza popularității și a tipului de caracteristică. Sistemul acoperă o gamă largă de capabilități, inclusiv indexarea spațială, calculul ierarhic al adreselor și indexarea căutării bazată pe token-uri pentru căutări fuzzy. Suportă integrarea seturilor de date externe pentru numere de casă și centroizi de cod poștal, precum și replicarea incrementală a datelor pentru a menține seturile de date locale sincronizate cu sursele globale. Serviciul este implementat ca o aplicație web bazată pe ASGI, oferind un API de căutare geospațială cu suport pentru mai multe formate de ieșire, inclusiv JSON, GeoJSON și XML.