Awesome GitHub RepositoriesLow-Latency Data Retrieval

Bigcache is a thread-safe, in-memory key-value store for Go designed to minimize garbage collection pauses. It functions as a memory-optimized cache capable of storing gigabytes of data while maintaining low latency during high-volume operations. The system avoids garbage collection overhead by managing memory through large byte arrays and manual allocation. It utilizes a circular-buffer layout to reuse space and lock-striped sharding to reduce contention during concurrent read and write access. The project provides capabilities for high-volume in-memory caching and low-latency data retrieva

Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo

Feast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Optimism ist ein Ethereum Optimistic-Rollup-Stack, der den Transaktionsdurchsatz durch die Verarbeitung auf einer Layer-2-Lösung und die anschließende Abwicklung auf dem Ethereum-Mainnet erhöht. Es fungiert als Skalierungs-Framework, das einen Rollup-Sequencer nutzt, um Transaktionen zu ordnen, Blöcke zu erstellen und gebündelte Daten an die primäre Blockchain zu übermitteln. Das System bietet ein Fraud-Proof-System, das On-Chain-Instruktionsemulation verwendet, um Streitigkeiten zu lösen und die Korrektheit von Zustandsübergängen zu verifizieren. Es enthält ein dediziertes Toolset für das Deployment und die Aktualisierung der Smart Contracts, die für den Aufbau und die Wartung des Skalierungsnetzwerks erforderlich sind. Das Projekt deckt breite Funktionsbereiche ab, darunter Blockchain-Zustandssynchronisation, Cross-Chain-Messaging und Sequencer-Administration mit Hochverfügbarkeits-Failover. Zudem bietet es Infrastruktur für Datenverfügbarkeit, Fault-Proof-Generierung und ein serviceorientiertes Framework für die Entwicklung von Blockchain-Komponenten. Das Repository enthält ein Development Kit mit Utilities für Account-Management, Netzwerksimulation und Integrationstests, um das Systemverhalten und die Stabilität von Upgrades zu validieren.

kphp-kdb ist eine NoSQL-Datenbank-Engine und PHP-Erweiterung, die für Lese- und Schreibvorgänge mit hohem Durchsatz entwickelt wurde. Sie fungiert als Persistenzschicht, die direkt in die PHP-Laufzeitumgebung integriert ist und ein nicht-relationales Speichersystem für Umgebungen mit hoher Last bietet. Das Projekt enthält einen Compiler, der dynamischen PHP-Quellcode in statisch typisierten C++-Code übersetzt. Dieser Prozess eliminiert den Overhead der Laufzeitinterpretation, um native Ausführungsgeschwindigkeiten und einen geringeren Ressourcenverbrauch zu erreichen. Das System nutzt native C++-Bindings und eine schema-lose Speicher-Engine, um Datenzugriffe mit geringer Latenz zu gewährleisten. Diese Funktionen konzentrieren sich auf die Datenspeicherung unter hoher Last und die Optimierung der PHP-Ausführung durch statische Code-Übersetzung.

rippled is a peer-to-peer node implementation for the XRP Ledger. It serves as a distributed ledger consensus engine and a blockchain API gateway, allowing servers to validate transactions and maintain a shared, immutable sequence of ledger state. The project features a built-in decentralized exchange engine capable of executing atomic cross-currency payments and managing order books. It includes an on-chain asset management system for issuing and controlling fungible tokens and NFTs, as well as a Byzantine Fault Tolerant system for coordinating validators. The platform provides comprehensiv

Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg

Dieses Projekt ist ein Protokoll-Tool, Server und Indexer für die Verwaltung digitaler Artefakte und Waren auf der Bitcoin-Blockchain. Es bietet die Kerninfrastruktur für das Einschreiben beliebiger Daten auf einzelne Satoshis, um dauerhafte, unveränderliche Assets und Sammlerstücke zu erstellen. Das System implementiert das Runes-Protokoll für das Erstellen, Minten und Übertragen nativer digitaler Waren. Es zeichnet sich dadurch aus, dass es die Seltenheit von Satoshis basierend auf der Mining-Reihenfolge verfolgt und Parent-Child-Provenienz-Mapping etabliert, um die Abstammung und Authentizität von On-Chain-Inschriften zu verifizieren. Das Projekt deckt ein breites Spektrum an Blockchain-Operationen ab, einschließlich Asset-Indizierung, Descriptor-basierter Wallet-Verwaltung und dem Hosting eines Block-Explorer-Interfaces. Es unterstützt fortgeschrittene Content-Workflows wie rekursive Inschriften, Batch-Asset-Verteilung und das sandboxed Rendern von HTML- und SVG-Inhalten. Benutzer können diese Operationen über eine Befehlszeilenschnittstelle und einen Server verwalten, der programmatische JSON-Endpunkte für externe Anwendungen bereitstellt.

Erigon is an Ethereum execution client and blockchain archive node designed to maintain full or archive copies of the blockchain. It functions as a Proof-of-Stake validator, an Ethereum RPC server, and a network validator operation tool, providing the core infrastructure to validate blocks and secure the chain. The project distinguishes itself through high-performance storage and data distribution, utilizing a flat key-value state storage system instead of a Merkle Patricia Trie to increase read and write speeds. It employs BitTorrent-based data distribution for immutable historical blockchai