Awesome GitHub RepositoriesConcurrent Data Processors

This library is a collection of generic utilities for the Go programming language designed to simplify the manipulation of slices and maps. It provides a functional toolkit that enables developers to perform data transformations, such as filtering, mapping, and reducing, while maintaining strict type safety through the use of language-level generics. The project distinguishes itself by offering a dual approach to data processing that balances functional programming patterns with performance-oriented execution. It supports both immutable functional pipelines for predictable state transitions a

brpc is a high-performance C++ RPC framework and network programming library designed for building distributed systems. It functions as a multi-protocol RPC server capable of hosting and detecting multiple communication protocols, including gRPC, Thrift, HTTP, Redis, and Memcached, on a single TCP port. The project distinguishes itself through high-throughput data transport and memory efficiency, utilizing RDMA-based transport to bypass the kernel TCP stack and zero-copy memory management to eliminate data duplication. It also implements the Raft algorithm for consensus-based state replicatio

Badger is an embeddable key-value store written in Go that provides persistent data storage for byte keys and values. It is a persistent database that utilizes a tiered LSM tree storage model to optimize disk storage and retrieval efficiency. The system features an ACID transaction engine that ensures data integrity through serializable snapshot isolation and multi-version concurrency control. It also provides an encrypted key-value store with data-at-rest encryption and a managed encrypted key registry to secure stored information. The engine covers a broad set of capabilities including hig

Dolphin is a multimodal layout analyzer and image-to-structure converter that transforms photographed or digital document images into machine-readable structured data. It functions as an LLM document parser, utilizing vision-language models to simultaneously predict spatial layout and text content. The system is designed as a concurrent document processor, employing parallel document parsing to process multiple elements across distributed compute nodes. This high-throughput approach reduces the total time required to convert large volumes of images into structured formats. The project covers

whatsmeow is a Go library that implements the WhatsApp multidevice protocol, providing direct access to the binary node serialization, WebSocket-based connection management, and Signal‑Protocol encryption that underpin WhatsApp’s messaging infrastructure. It maintains persistent, low-latency connections across multiple devices, handles session credentials independently for each device, and processes incoming events through an event‑driven dispatch system for messages, receipts, and presence updates. The library differentiates itself through comprehensive client‑side state management: it cache

RxGo este o bibliotecă de programare reactivă funcțională și o implementare a ReactiveX pentru limbajul Go. Servește ca un toolkit de procesare a fluxurilor asincrone conceput pentru a coordona programele bazate pe evenimente și fluxurile de date folosind modelul observabil. Biblioteca permite construirea de pipeline-uri de procesare asincronă care transformă, filtrează și combină secvențe de evenimente. Se remarcă prin utilizarea operatorilor funcționali pentru a compune aceste pipeline-uri și oferă mecanisme pentru gestionarea execuției concurente. Toolkit-ul acoperă o gamă largă de capabilități de orchestrare a fluxurilor, inclusiv agregarea datelor, combinarea multi-flux și conversia fluxurilor în structuri de date statice. Include suport integrat pentru recuperarea erorilor, controlul backpressure-ului pentru a regla vitezele de producție a datelor și worker pooling pentru paralelizarea procesării pe nucleele CPU.

FirebaseChat is a real-time chat application and serverless messaging client that synchronizes conversations and messages instantly across clients. It provides a user interface for a messaging system backed by a cloud-hosted NoSQL document store. The project implements a real-time chat system through the integration of a Firebase backend, allowing for instant messaging workflows and the synchronization of data across connected clients. The application manages data using schema-less NoSQL storage and document-based data modeling. It utilizes a persistent connection for database synchronizatio

Streem este un limbaj de programare bazat pe fluxuri (stream-based) și un orchestrator de pipeline-uri de date. Oferă un limbaj specific domeniului (DSL) pentru definirea fluxurilor de date concurente, permițând utilizatorilor să lege sursele de date la destinații printr-o secvență de operațiuni care transformă și filtrează elementele individuale ale fluxului. Sistemul utilizează o sintaxă de script personalizată pentru a defini conexiunile fluxului de date și definițiile pipeline-ului. Acest lucru permite orchestrarea procesării concurente a datelor, unde mai multe etape ale pipeline-ului se execută simultan pentru a muta elementele de date prin sistem. Platforma acoperă transformarea funcțională a datelor și compoziția bazată pe etape, aplicând funcții specifice pentru a modifica sau filtra elementele pe măsură ce trec printr-un lanț secvențial de operațiuni legate.

Ultrajson este o bibliotecă Python de înaltă performanță pentru JSON și un parser bazat pe C, conceput pentru a minimiza overhead-ul de parsare. Oferă o implementare în C a specificației JSON pentru a permite codificarea și decodarea rapidă a datelor. Proiectul funcționează ca un procesor JSON concurent, suportând serializarea și deserializarea multi-threaded pentru a crește throughput-ul datelor și a preveni blocarea execuției. Capabilitățile sale acoperă serializarea datelor Python și procesarea JSON de înaltă performanță pentru pipeline-uri de date în timp real. Aceasta include parsarea datelor JSON și serializarea obiectelor native în șiruri JSON.

Concurrent-map is a lock-striped hash map and sharded concurrent cache for Go, designed as a high-performance key-value store that enables thread-safe parallel reads and writes with minimal blocking. It replaces a single global mutex with per-shard locking, using hash-based key distribution to assign entries to independent segments, allowing multiple goroutines to operate simultaneously without race conditions. The library achieves its performance through fine-grained locking and a lock-free read path, where each shard operates independently with its own lock, enabling parallel reads and writ

SSH.NET is a .NET library that implements the SSH-2 protocol for encrypted remote connections and secure file transfers. It provides a complete SSH-2 protocol stack implementation with a channel multiplexing engine that manages multiple concurrent channels over a single connection, supporting simultaneous shell sessions, remote command execution, SFTP transfers, and port forwarding tunnels. The library includes a pluggable authentication pipeline supporting password, public key, certificate, keyboard-interactive, and multi-factor authentication combinations. The library distinguishes itself t

OpenMQTTGateway is a multi-protocol IoT gateway and hardware interface designed for ESP32 and ESP8266 devices. It serves as a bridge that converts Bluetooth Low Energy, Radio Frequency, and Infrared signals into standardized MQTT messages for use in home automation systems. The project provides specific bridging capabilities for 433MHz, 315MHz, and 868MHz radio signals, as well as LoRa and Infrared commands. It includes a Bluetooth presence detector that monitors device advertisements to track the proximity and location of people or objects. The system handles IoT sensor aggregation through

Melody is a WebSocket server framework designed to upgrade HTTP connections into bidirectional streams. It functions as a session manager and binary streaming library that facilitates real-time data exchange between a server and multiple remote clients. The project features a broadcast engine that optimizes multi-client transmissions through wire-representation caching. It includes a dedicated session management system for attaching custom state to persistent network connections and an upgrade handler that validates handshake headers. The framework covers broad capability areas including eve

Acest proiect este o resursă educațională concepută pentru a ajuta dezvoltatorii să stăpânească execuția concurentă și tiparele de sincronizare în Go. Oferă o colecție structurată de exerciții practice de codare și provocări bazate pe testare care se concentrează pe implementarea practică a practicilor de inginerie software multi-threaded. Repository-ul pune accent pe mecanismele de bază ale concurenței în Go, inclusiv comunicarea bazată pe canale, blocarea mutex și coordonarea ciclului de viață. Acoperă tipare esențiale precum gestionarea sarcinilor în fundal, implementarea opririlor grațioase ale serviciilor și impunerea limitelor de rată sau a constrângerilor de timp de execuție. Lucrând prin aceste exerciții, utilizatorii învață să protejeze structurile de memorie partajată și să prevină race conditions în timpul operațiunilor concurente. Materialele includ utilitare de testare automatizate care utilizează instrumentarea la runtime pentru a valida corectitudinea logicii concurente. Aceste exerciții ghidează cursanții prin nuanțele coordonării mai multor rutine, asigurându-se că resursele partajate rămân thread-safe în timp ce mențin throughput-ul sistemului.