10 Repos
Techniques and architectures designed to minimize the time between a data request and the return of the result.
Distinct from Low-Latency Analytical Queries: Existing candidates are too specific to vectors, streaming, or analytical queries; this is general low-latency retrieval.
Explore 10 awesome GitHub repositories matching data & databases · Low-Latency Data Retrieval. Refine with filters or upvote what's useful.
Bigcache is a thread-safe, in-memory key-value store for Go designed to minimize garbage collection pauses. It functions as a memory-optimized cache capable of storing gigabytes of data while maintaining low latency during high-volume operations. The system avoids garbage collection overhead by managing memory through large byte arrays and manual allocation. It utilizes a circular-buffer layout to reuse space and lock-striped sharding to reduce contention during concurrent read and write access. The project provides capabilities for high-volume in-memory caching and low-latency data retrieva
Enables rapid access to frequently used datasets from memory to reduce database load and response times.
Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo
Provides low-latency access to objects, transactions, and balances via gRPC and GraphQL.
Feast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr
Implements high-speed retrieval of the latest feature values to power real-time model predictions in production.
Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis
Enables low-latency data retrieval by maintaining stateful data in memory across a distributed cluster.
Optimism ist ein Ethereum Optimistic-Rollup-Stack, der den Transaktionsdurchsatz durch die Verarbeitung auf einer Layer-2-Lösung und die anschließende Abwicklung auf dem Ethereum-Mainnet erhöht. Es fungiert als Skalierungs-Framework, das einen Rollup-Sequencer nutzt, um Transaktionen zu ordnen, Blöcke zu erstellen und gebündelte Daten an die primäre Blockchain zu übermitteln. Das System bietet ein Fraud-Proof-System, das On-Chain-Instruktionsemulation verwendet, um Streitigkeiten zu lösen und die Korrektheit von Zustandsübergängen zu verifizieren. Es enthält ein dediziertes Toolset für das Deployment und die Aktualisierung der Smart Contracts, die für den Aufbau und die Wartung des Skalierungsnetzwerks erforderlich sind. Das Projekt deckt breite Funktionsbereiche ab, darunter Blockchain-Zustandssynchronisation, Cross-Chain-Messaging und Sequencer-Administration mit Hochverfügbarkeits-Failover. Zudem bietet es Infrastruktur für Datenverfügbarkeit, Fault-Proof-Generierung und ein serviceorientiertes Framework für die Entwicklung von Blockchain-Komponenten. Das Repository enthält ein Development Kit mit Utilities für Account-Management, Netzwerksimulation und Integrationstests, um das Systemverhalten und die Stabilität von Upgrades zu validieren.
Implements mechanisms for fetching contract addresses and role assignments directly from the blockchain state via on-chain proxies.
kphp-kdb ist eine NoSQL-Datenbank-Engine und PHP-Erweiterung, die für Lese- und Schreibvorgänge mit hohem Durchsatz entwickelt wurde. Sie fungiert als Persistenzschicht, die direkt in die PHP-Laufzeitumgebung integriert ist und ein nicht-relationales Speichersystem für Umgebungen mit hoher Last bietet. Das Projekt enthält einen Compiler, der dynamischen PHP-Quellcode in statisch typisierten C++-Code übersetzt. Dieser Prozess eliminiert den Overhead der Laufzeitinterpretation, um native Ausführungsgeschwindigkeiten und einen geringeren Ressourcenverbrauch zu erreichen. Das System nutzt native C++-Bindings und eine schema-lose Speicher-Engine, um Datenzugriffe mit geringer Latenz zu gewährleisten. Diese Funktionen konzentrieren sich auf die Datenspeicherung unter hoher Last und die Optimierung der PHP-Ausführung durch statische Code-Übersetzung.
Minimizes data access times by integrating a persistence layer directly into the PHP runtime.
rippled is a peer-to-peer node implementation for the XRP Ledger. It serves as a distributed ledger consensus engine and a blockchain API gateway, allowing servers to validate transactions and maintain a shared, immutable sequence of ledger state. The project features a built-in decentralized exchange engine capable of executing atomic cross-currency payments and managing order books. It includes an on-chain asset management system for issuing and controlling fungible tokens and NFTs, as well as a Byzantine Fault Tolerant system for coordinating validators. The platform provides comprehensiv
Provides high-performance retrieval of current liquidity pool states, including trading fees and auction slot pricing.
Arroyo is a high-performance stream processing platform built in Rust. It executes continuous SQL queries on streaming data with event-time semantics, enabling accurate windowed aggregations, joins, and stateful computations on unbounded event streams. The platform uses native Rust execution for high throughput and low latency, with periodic checkpointing for exactly-once fault tolerance and horizontal scaling across distributed workers. The system integrates deeply with Kafka for reading and writing topics with exactly-once delivery and supports change data capture (CDC) from MySQL and Postg
Emits output with subsecond latency by processing data incrementally using the Dataflow model.
Dieses Projekt ist ein Protokoll-Tool, Server und Indexer für die Verwaltung digitaler Artefakte und Waren auf der Bitcoin-Blockchain. Es bietet die Kerninfrastruktur für das Einschreiben beliebiger Daten auf einzelne Satoshis, um dauerhafte, unveränderliche Assets und Sammlerstücke zu erstellen. Das System implementiert das Runes-Protokoll für das Erstellen, Minten und Übertragen nativer digitaler Waren. Es zeichnet sich dadurch aus, dass es die Seltenheit von Satoshis basierend auf der Mining-Reihenfolge verfolgt und Parent-Child-Provenienz-Mapping etabliert, um die Abstammung und Authentizität von On-Chain-Inschriften zu verifizieren. Das Projekt deckt ein breites Spektrum an Blockchain-Operationen ab, einschließlich Asset-Indizierung, Descriptor-basierter Wallet-Verwaltung und dem Hosting eines Block-Explorer-Interfaces. Es unterstützt fortgeschrittene Content-Workflows wie rekursive Inschriften, Batch-Asset-Verteilung und das sandboxed Rendern von HTML- und SVG-Inhalten. Benutzer können diese Operationen über eine Befehlszeilenschnittstelle und einen Server verwalten, der programmatische JSON-Endpunkte für externe Anwendungen bereitstellt.
Enables the retrieval of content from other on-chain records to create remixed assets and generative artwork.
Erigon is an Ethereum execution client and blockchain archive node designed to maintain full or archive copies of the blockchain. It functions as a Proof-of-Stake validator, an Ethereum RPC server, and a network validator operation tool, providing the core infrastructure to validate blocks and secure the chain. The project distinguishes itself through high-performance storage and data distribution, utilizing a flat key-value state storage system instead of a Merkle Patricia Trie to increase read and write speeds. It employs BitTorrent-based data distribution for immutable historical blockchai
Provides high-performance mechanisms for retrieving network state, transaction traces, and debug information.