Awesome GitHub RepositoriesData Consistency Models

Qdrant is a high-performance vector similarity database designed to store, index, and search high-dimensional vectors alongside structured metadata. It functions as a distributed search engine that manages large-scale data clusters, providing low-latency retrieval and complex filtering capabilities. The system is built to serve as a specialized middleware layer, connecting machine learning pipelines and AI agents to persistent storage for intelligent information retrieval and recommendation tasks. The platform distinguishes itself through advanced retrieval techniques, including support for h

Memcached is a high-performance, distributed, in-memory key-value storage and request routing engine. It functions as a volatile data store designed to accelerate dynamic applications by caching objects in RAM, thereby reducing backend database load and providing sub-millisecond response times. The system utilizes a specialized architecture that organizes memory into fixed-size slabs to minimize fragmentation and maximize throughput for high-concurrency workloads. The project distinguishes itself through a multi-threaded, lock-friendly design that scales across CPU cores and supports complex

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Mimir este o bază de date de serii temporale multi-tenant și un magazin de metrici distribuit, conceput pentru telemetrie scalabilă. Servește ca un backend compatibil cu Prometheus, oferind stocare pe termen lung și un motor de interogare scalabil pentru volume masive de date de serii temporale. Sistemul este construit pentru observabilitate multi-tenant, izolând datele de telemetrie și limitele de resurse pentru echipe sau organizații independente în cadrul unui singur cluster. Asigură disponibilitate ridicată și durabilitate prin sharding și replicarea datelor într-un cluster distribuit, utilizând stocarea de obiecte pentru persistență pentru a elimina dependențele de baze de date externe. Proiectul acoperă capabilități vaste, inclusiv agregarea globală a metricilor pentru analiză cross-region și execuția distribuită a interogărilor folosind paralelizarea și caching-ul. De asemenea, integrează instrumente de observabilitate precum alertarea federată, monitorizarea sintetică și fluxuri de lucru de rezolvare a incidentelor bazate pe AI pentru a accelera depanarea. Controalele administrative includ cote de resurse pentru chiriași, override-uri de resurse per-utilizator și shuffle-sharding pentru izolarea sarcinilor de lucru.

Grafana Tempo is a high-scale distributed tracing backend and columnar trace database. It serves as an observability data store that persists and queries spans and traces using OpenTelemetry standards, allowing for the analysis of request flows across microservices. The system distinguishes itself by using an object-store based backend with columnar Parquet storage. This architecture enables efficient attribute searching and large-scale data retrieval through dedicated attribute columnization and block-based data partitioning. It includes a specialized TraceQL query engine for filtering trace

java-tron este o implementare Java a unui nod complet de blockchain Tron. Acesta oferă infrastructura de bază pentru rularea unui nod de rețea, validarea tranzacțiilor și producerea blocurilor. Proiectul include un motor de consens proof-of-stake, o bază de date de registru distribuit și un runtime de smart contract pentru a gestiona tranzițiile de stare on-chain. Sistemul se distinge prin suportul său pentru operațiuni de nod complet și lite, utilizând snapshot-uri de stare pentru a accelera sincronizarea și a reduce cerințele hardware. Dispune de o abstractizare a bazei de date multi-motor care permite migrarea stocării, partiționarea și curățarea pe diferite discuri fizice pentru a optimiza performanța. Software-ul acoperă o gamă largă de capabilități blockchain, inclusiv gestionarea activelor digitale, guvernanța rețelei prin alegeri reprezentative și execuția logicii programabile prin intermediul unei mașini virtuale. Expune datele și funcțiile blockchain printr-un gateway care suportă protocoalele HTTP, gRPC și JSON-RPC. Proiectul oferă instrumente pentru inițializarea nodurilor de rețea, implementarea mediilor blockchain private și gestionarea keystore-urilor de cont criptate.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

Trillian is a distributed, multi-tenant verifiable data store that maintains cryptographically verifiable logs and maps using Merkle tree structures. It functions as a scalable backend for transparency logs, providing a system where data integrity is ensured through append-only records and mathematical proofs of inclusion and consistency. The system distinguishes itself by decoupling core storage from application-specific logic through a personality layer, which handles admission criteria and data canonicalization. It employs a consensus-based leader election mechanism for high availability a

Acest proiect este o platformă de învățare și un ghid de studiu axat pe principiile sistemelor distribuite și arhitecturii software. Oferă o colecție de scenarii arhitecturale și enunțuri de probleme tehnice concepute pentru a ajuta inginerii să exerseze system design-ul, planificarea capacității și analiza compromisurilor (trade-off analysis) pentru servicii la scară mare. Repository-ul se distinge prin oferirea de prototipuri funcționale și modele pentru provocări inginerești complexe. În loc să ofere doar documentație teoretică, include reprezentări executabile ale componentelor de sistem — cum ar fi servicii de stocare, load balancere și mecanisme de control al concurenței — care permit utilizatorilor să valideze logica arhitecturală, să măsoare performanța și să observe modul în care diferite alegeri de design impactează throughput-ul sistemului și consistența datelor. Conținutul acoperă o gamă largă de preocupări de infrastructură și de nivel de aplicație, inclusiv designul schemei bazei de date, gestionarea cozilor de mesaje, sincronizarea stării în timp real și indexarea spațială. De asemenea, abordează cerințe operaționale precum distribuția traficului, optimizarea accesului la resurse și monitorizarea, oferind un framework cuprinzător pentru înțelegerea modului de construire a sistemelor software durabile, disponibile și scalabile.

OpenViking is a multi-tenant context server and knowledge base administration system designed to provide AI agents with persistent long-term memory. It enables the indexing of diverse documents and codebases to support retrieval-augmented generation, allowing agents to recall past interactions, user preferences, and learned experiences across sessions. The project is distinguished by its use of a URI-based virtual filesystem to organize memories, resources, and skills. It implements a tiered context loading system that balances retrieval precision with token budgets by structuring data into a