Awesome GitHub RepositoriesData Consistency Models

Qdrant is a high-performance vector similarity database designed to store, index, and search high-dimensional vectors alongside structured metadata. It functions as a distributed search engine that manages large-scale data clusters, providing low-latency retrieval and complex filtering capabilities. The system is built to serve as a specialized middleware layer, connecting machine learning pipelines and AI agents to persistent storage for intelligent information retrieval and recommendation tasks. The platform distinguishes itself through advanced retrieval techniques, including support for h

Memcached is a high-performance, distributed, in-memory key-value storage and request routing engine. It functions as a volatile data store designed to accelerate dynamic applications by caching objects in RAM, thereby reducing backend database load and providing sub-millisecond response times. The system utilizes a specialized architecture that organizes memory into fixed-size slabs to minimize fragmentation and maximize throughput for high-concurrency workloads. The project distinguishes itself through a multi-threaded, lock-friendly design that scales across CPU cores and supports complex

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Mimir ist eine Multi-Tenant-Zeitreihendatenbank und ein verteilter Metrik-Speicher für skalierbare Telemetrie. Es dient als Prometheus-kompatibles Backend und bietet Langzeitspeicherung sowie eine skalierbare Abfrage-Engine für massive Mengen an Zeitreihendaten. Das System ist für Multi-Tenant-Observability konzipiert und isoliert Telemetriedaten sowie Ressourcenlimits für unabhängige Teams oder Organisationen innerhalb eines einzigen Clusters. Es gewährleistet hohe Verfügbarkeit und Langlebigkeit durch Sharding und Replikation von Daten über einen verteilten Cluster hinweg und nutzt Objektspeicher zur Persistenz, um externe Datenbankabhängigkeiten zu eliminieren. Das Projekt deckt weitreichende Fähigkeiten ab, einschließlich globaler Metrik-Aggregation für regionsübergreifende Analysen und verteilter Abfrageausführung mittels Parallelisierung und Caching. Es integriert zudem Observability-Tools wie föderiertes Alerting, synthetisches Monitoring und KI-gestützte Incident-Resolution-Workflows zur Beschleunigung der Fehlerbehebung. Administrative Kontrollen umfassen Tenant-Ressourcenquoten, benutzerbezogene Ressourcen-Overrides und Shuffle-Sharding für Workload-Isolierung.

Grafana Tempo is a high-scale distributed tracing backend and columnar trace database. It serves as an observability data store that persists and queries spans and traces using OpenTelemetry standards, allowing for the analysis of request flows across microservices. The system distinguishes itself by using an object-store based backend with columnar Parquet storage. This architecture enables efficient attribute searching and large-scale data retrieval through dedicated attribute columnization and block-based data partitioning. It includes a specialized TraceQL query engine for filtering trace

java-tron ist eine Java-Implementierung eines Tron-Blockchain-Full-Nodes. Es bietet die Kerninfrastruktur für den Betrieb eines Netzwerkknotens, die Validierung von Transaktionen und die Erstellung von Blöcken. Das Projekt enthält eine Proof-of-Stake-Konsens-Engine, eine verteilte Ledger-Datenbank und eine Smart-Contract-Runtime zur Verwaltung von On-Chain-Zustandsübergängen. Das System zeichnet sich durch die Unterstützung von Full- und Lite-Node-Operationen aus und nutzt State-Snapshots, um die Synchronisierung zu beschleunigen und Hardwareanforderungen zu reduzieren. Es verfügt über eine Multi-Engine-Datenbankabstraktion, die Speicher-Migration, Partitionierung und Pruning über verschiedene physische Festplatten hinweg ermöglicht, um die Performance zu optimieren. Die Software deckt ein breites Spektrum an Blockchain-Funktionen ab, einschließlich digitalem Asset-Management, Netzwerk-Governance durch Repräsentantenwahlen und die Ausführung programmierbarer Logik via Virtual Machine. Sie stellt Blockchain-Daten und -Funktionen über ein Gateway bereit, das HTTP-, gRPC- und JSON-RPC-Protokolle unterstützt. Das Projekt bietet Tools zur Initialisierung von Netzwerkknoten, zur Bereitstellung privater Blockchain-Umgebungen und zur Verwaltung verschlüsselter Account-Keystores.

Dieses Projekt ist eine Lernplattform und ein Studienführer, der sich auf die Prinzipien verteilter Systeme und Softwarearchitektur konzentriert. Es bietet eine Sammlung architektonischer Szenarien und technischer Problemstellungen, die Ingenieuren dabei helfen sollen, Systemdesign, Kapazitätsplanung und Trade-off-Analysen für hochskalierbare Dienste zu üben. Das Repository zeichnet sich dadurch aus, dass es funktionale Prototypen und Modelle für komplexe technische Herausforderungen bietet. Anstatt rein theoretische Dokumentationen bereitzustellen, enthält es ausführbare Repräsentationen von Systemkomponenten – wie Speicherdienste, Load Balancer und Mechanismen zur Nebenläufigkeitskontrolle –, die es Benutzern ermöglichen, architektonische Logik zu validieren, Leistung zu messen und zu beobachten, wie sich verschiedene Designentscheidungen auf den Systemdurchsatz und die Datenkonsistenz auswirken. Der Inhalt deckt ein breites Spektrum an Infrastruktur- und Anwendungsebene-Belangen ab, einschließlich Datenbank-Schema-Design, Message-Queue-Management, Echtzeit-Statussynchronisation und räumlicher Indizierung. Es adressiert zudem betriebliche Anforderungen wie Traffic-Verteilung, Ressourcen-Zugriffsoptimierung und Überwachung und bietet ein umfassendes Framework für das Verständnis, wie langlebige, verfügbare und skalierbare Softwaresysteme aufgebaut werden.

OpenViking is a multi-tenant context server and knowledge base administration system designed to provide AI agents with persistent long-term memory. It enables the indexing of diverse documents and codebases to support retrieval-augmented generation, allowing agents to recall past interactions, user preferences, and learned experiences across sessions. The project is distinguished by its use of a URI-based virtual filesystem to organize memories, resources, and skills. It implements a tiered context loading system that balances retrieval precision with token budgets by structuring data into a