13 repository-uri
Implementation of high-performance remote procedure calls for streaming data from producers to viewers.
Distinct from Real-Time Data Streaming: Specifies the use of gRPC as the transport mechanism for real-time data delivery.
Explore 13 awesome GitHub repositories matching data & databases · gRPC Data Streaming. Refine with filters or upvote what's useful.
Dubbo is a Java RPC framework and microservices governance platform designed for high-performance remote procedure calls in distributed architectures. It provides the foundational components necessary to connect distributed services across a network, including a binary data serialization library and a distributed service registry. The platform distinguishes itself through a comprehensive governance suite that manages service discovery, load balancing, and traffic routing. It enables precise control over network traffic via conditional routing and a pluggable extension mechanism based on a ser
Provides high-performance data streaming capabilities between clients and servers using the gRPC protocol.
Seata is a distributed transaction coordinator designed to ensure data consistency and atomicity across microservices. It provides a centralized framework for managing global transactions, preventing partial data updates across different databases and services. The project implements multiple transaction modes to balance consistency and performance. This includes an automatic mode that uses rollback logs to coordinate compensation without modifying business logic, a try-confirm-cancel pattern for resources lacking native ACID support, and a saga orchestration engine for managing long-lived bu
Uses gRPC for high-performance bidirectional data streaming between clients and coordinators.
Rerun is a multimodal data visualizer and robotics data logger designed for rendering synchronized streams of 3D spatial data, images, and time-series metrics. It functions as a tool for capturing high-frequency sensor data and AI outputs into a queryable columnar format, providing a dedicated interface for viewing MCAP recording files and analyzing physical environments. The project distinguishes itself as a machine learning dataset streamer, capable of feeding logged recordings directly into GPU buffers and PyTorch training pipelines without intermediate exports. It supports a high-performa
Transmits logged data from producers to remote viewers in real-time using a high-performance gRPC framework.
Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo
Uses gRPC to stream finalized checkpoints and transaction data in real time.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Transmits high-throughput analytical queries using gRPC for persistent, low-latency data retrieval.
GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without
Ships official gRPC client libraries for Go, Java, Rust, .NET, Erlang, and TypeScript.
KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores application state as an immutable, ordered sequence of events rather than updating rows in place, preserving full history for audit, replay, and distributed consistency. The database combines event storage with real-time streaming and a built-in JavaScript projection engine that transforms and aggregates event streams into materialized views. The system provides official gRPC client libraries for Python, Node.js, Java, .NET, Go, and Rust, enabling multi-language application development
Streams persisted events to clients in real time using the gRPC protocol for event-driven processing.
KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates
Streams events to clients and between nodes using the gRPC protocol for real-time processing.
Fluvio este o platformă distribuită de streaming de evenimente și un motor de streaming cloud-native conceput pentru colectarea, persistența și replicarea fluxurilor de date în timp real într-un cluster distribuit. Funcționează ca un pipeline de date în timp real pentru construirea fluxurilor de lucru cu stare care ingerează, îmbogățesc și exportă date între surse și destinații externe. Platforma se distinge prin utilizarea WebAssembly pentru a executa module compilate pentru transformări și filtrare de date în linie. Acest lucru permite execuția logicii de business personalizate pentru a remodela informațiile în mișcare fără a necesita o repornire a clusterului. Sistemul acoperă o gamă largă de capabilități, inclusiv ingestia de date bazată pe conectori din protocoale externe, stocare imutabilă structurată pe log-uri cu IO de tip zero-copy și scalarea orizontală a clusterului. Suportă crearea de pipeline-uri complexe bazate pe evenimente care utilizează procesarea cu stare, agregări pe ferestre și distribuția datelor bazată pe partiții. Motorul poate fi implementat ca un binar ușor pe diverse arhitecturi de sistem, inclusiv dispozitive IoT ARM64 pentru procesarea datelor la margine (edge).
Implements a database that persists events as immutable streams and delivers them to subscribers in real time.
Tokio Console este un instrument de diagnosticare pentru monitorizarea și depanarea sarcinilor și resurselor asincrone în cadrul unui runtime Tokio. Acesta constă într-un server de telemetrie care transmite diagnostice de runtime în timp real și stări ale sarcinilor de la o aplicație către un client la distanță, însoțit de un dashboard cu interfață de linie de comandă interactivă pentru vizualizarea modelelor de execuție. Proiectul identifică anomalii de runtime, cum ar fi sarcini care nu cedează niciodată (never yield), sarcini care se auto-trezesc sau futures supradimensionate. Analizează performanța sarcinilor prin histograme și percentile de sincronizare a polling-ului și programării pentru a localiza blocajele sau operațiunile blocate. Setul de instrumente acoperă monitorizarea resurselor prin listarea primitivelor de sincronizare și a resurselor I/O pentru a urmări ciclurile lor de viață. Permite depanarea contenciosului de resurse prin identificarea sarcinilor asincrone care așteaptă ca anumite resurse să rezolve blocajele.
Uses gRPC for high-performance streaming of runtime diagnostic data from the instrumented process to a remote client.
Acest proiect este o implementare .NET a framework-ului gRPC, oferind un sistem pentru executarea funcțiilor pe servere la distanță ca și cum ar fi apeluri locale. Acesta servește drept framework de apel de procedură la distanță (RPC) de înaltă performanță care utilizează HTTP/2 pentru conectivitatea serviciilor și protocoale de comunicare binară pentru a asigura un schimb eficient de date. Implementarea include un proxy gRPC-Web, care acționează ca un strat de traducere pentru a permite aplicațiilor bazate pe browser să comunice cu serviciile gRPC prin cereri compatibile cu web-ul. De asemenea, susține crearea de service mesh-uri HTTP/2 pentru a conecta microservicii distribuite cu latență scăzută. Framework-ul acoperă o gamă largă de capabilități, inclusiv serializarea binară prin Protobuf, generarea de contracte puternic tipizate și suport pentru ambele modele de RPC, unary și streaming. Oferă funcții cuprinzătoare de găzduire a serverului și gestionare a clientului, alături de utilitare de gestionare a traficului, cum ar fi load balancing-ul client-side și reîncercările automate ale apelurilor. Suportul operațional suplimentar este oferit prin securitatea transportului TLS, controlul accesului la nivel de metodă și instrumente de observabilitate, inclusiv monitorizarea sănătății serviciului și logarea diagnostică.
Implements high-performance unary, server-to-client, client-to-server, and bi-directional message streaming.
This project is a microservice framework for building scalable backend systems in Go. It provides an architecture for distributed systems with integrated support for service discovery, load balancing, and fault-tolerance mechanisms. The framework distinguishes itself through a domain-driven layered architecture and a remote-first configuration system that synchronizes settings between remote stores and local files with automatic failover. It implements a high-performance communication model using gRPC for unary and streaming data exchange, as well as real-time notification systems for managin
Provides high-performance bidirectional and server-side data streaming using the gRPC protocol.
Acest proiect servește drept roadmap educațional cuprinzător și curriculum pentru stăpânirea dezvoltării profesionale de aplicații Android. Oferă o cale de învățare structurată care ghidează dezvoltatorii prin principiile esențiale de design de sistem, modelele arhitecturale și abilitățile tehnice necesare pentru a construi, testa și lansa software mobil scalabil. Resursa se distinge prin organizarea subiectelor tehnice complexe într-o secvență logică, acoperind totul, de la instrumentele fundamentale de dezvoltare mobilă până la practicile avansate de inginerie software. Pune accent pe modelele standard din industrie pentru structurarea codebase-urilor mentenabile, asigurându-se că cursanții dobândesc competențe în sistemele de build, gestionarea dependențelor și integrarea serviciilor externe. Dincolo de arhitectura de bază, curriculum-ul abordează aspecte critice ale ecosistemului mobil, inclusiv procesarea fluxurilor reactive, execuția asincronă și gestionarea componentelor conștiente de ciclul de viață. De asemenea, încorporează îndrumări privind securizarea datelor aplicației, verificarea calității software-ului prin testare și implementarea interfețelor utilizator responsive. Repository-ul funcționează ca un ghid centralizat pentru dezvoltatorii care caută să își standardizeze abordarea față de ingineria mobilă și deployment-ul profesional de software.
Generates sequences of values to produce data for consumption by other application components.