Awesome GitHub RepositoriesDistributed Commit Logs

Kafka is a distributed event streaming platform designed for capturing, storing, and processing real-time data streams across interconnected nodes. It functions as a distributed commit log, providing a fault-tolerant storage mechanism that records state changes sequentially to ensure data consistency and durability across distributed environments. The platform distinguishes itself through a partitioned commit log architecture that enables horizontal scaling and parallel processing of data streams. It integrates a stream processing engine for continuous transformations and aggregations, while

This is a Raft consensus library and distributed consensus engine implemented in Go. It provides the primitives necessary to build fault-tolerant distributed services by implementing a replicated state machine that ensures a group of servers agree on a shared system state through leader election and log replication. The project distinguishes itself through a pluggable architecture for storage backends and snapshot storage, decoupling the consensus logic from physical persistence. It includes specialized mechanisms for leadership transfer, protocol version management to support rolling upgrade

immudb is a tamperproof database that maintains an immutable record of entries using cryptographic commit logging. It ensures verifiable database integrity by utilizing Merkle trees to generate membership and consistency proofs that detect unauthorized data alterations. The system employs a multi-model storage engine that unifies key-value, document, and relational data structures within a single immutable backend. It provides compatibility with the PostgreSQL wire protocol, allowing it to integrate with standard SQL clients, ORMs, and database tools. The project covers broad capabilities in

Orbit DB is a decentralized NoSQL database that utilizes conflict-free replicated data types to ensure eventual consistency across a network of nodes. It functions as a peer-to-peer data store that uses IPFS for content-addressing and synchronization, allowing for the maintenance of application state without a central server or authority. The system is built upon a cryptographically verifiable, immutable operation log, which serves as the foundation for custom decentralized data models. This architecture enables the implementation of various data storage patterns, including JSON document stor

OrbitDB is a decentralized data storage system that enables the creation of serverless databases residing across a network of peers. It functions as a peer-to-peer database that integrates with a content-addressed storage layer to distribute and replicate data without a central server. The system utilizes conflict-free replicated data types to ensure eventual consistency and state convergence across distributed nodes. It maintains an immutable record of updates using a directed acyclic graph to preserve causal ordering and cryptographic integrity. Access is managed through a decentralized ide

Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo

Dieses Projekt ist eine verifizierbare Datenbank-Engine, die ein kryptografisches SQL-Beweissystem bereitstellt, um die Integrität gespeicherter Informationen und deren Abruf sicherzustellen. Es fungiert als beweisgestützter Datenspeicher, der kryptografische Commitments nutzt, um Datenmanipulationen zu verhindern und die Genauigkeit von Abfrageergebnissen zu garantieren. Das System generiert Zero-Knowledge-Proofs, um mathematische Beweise dafür zu liefern, dass eine SQL-Abfrage korrekt ausgeführt wurde, ohne dass ein vollständiger erneuter Durchlauf des Prozesses erforderlich ist. Diese kryptografischen Beweise können für die On-Chain-Validierung exportiert werden, was es Smart Contracts oder Dritten ermöglicht, Datenbankergebnisse vertrauenslos zu verifizieren. Die Engine umfasst einen leistungsstarken analytischen SQL-Abfrageprozessor, der komplexe Aggregationen und Filter über Millionen von Zeilen mit Antwortzeiten im Sub-Sekunden-Bereich ausführen kann. Es unterhält eine sichere Daten-Ingestion-Pipeline, die während der Eingabe manipulationssichere Hashes erstellt, um die Integrität des Datenbankzustands zu gewährleisten.

Jocko ist eine Cloud-native Event-Streaming-Plattform und ein verteilter Commit-Log, implementiert in Go. Es fungiert als verteilter Message-Broker, der Datenbeständigkeit und Hochverfügbarkeit durch die Replikation von Datensatzsequenzen über einen Cluster hinweg sicherstellt. Das System ist als Zookeeper-freier Event-Streamer konzipiert und nutzt eine integrierte Konsens-Koordination, um den Cluster-Zustand und die Leader-Wahl ohne externe Koordinationsdienste zu verwalten. Es implementiert das Kafka-Wire-Protokoll, wodurch es mit bestehenden Ökosystem-Clients und Tools kommunizieren kann. Die Plattform bietet Funktionen für das verteilte Log-Management, einschließlich der Verwendung eines Append-only-Commit-Logs für die Datenpersistenz. Sie enthält zudem automatisierte Mechanismen zur Datenaufbewahrung, die alte Datensätze basierend auf Zeitlimits oder Speicherplatzschwellenwerten bereinigen. Das Projekt wird als Single-Binary-Laufzeitumgebung vertrieben.