Awesome GitHub RepositoriesConcurrent Data Processors

This library is a collection of generic utilities for the Go programming language designed to simplify the manipulation of slices and maps. It provides a functional toolkit that enables developers to perform data transformations, such as filtering, mapping, and reducing, while maintaining strict type safety through the use of language-level generics. The project distinguishes itself by offering a dual approach to data processing that balances functional programming patterns with performance-oriented execution. It supports both immutable functional pipelines for predictable state transitions a

brpc is a high-performance C++ RPC framework and network programming library designed for building distributed systems. It functions as a multi-protocol RPC server capable of hosting and detecting multiple communication protocols, including gRPC, Thrift, HTTP, Redis, and Memcached, on a single TCP port. The project distinguishes itself through high-throughput data transport and memory efficiency, utilizing RDMA-based transport to bypass the kernel TCP stack and zero-copy memory management to eliminate data duplication. It also implements the Raft algorithm for consensus-based state replicatio

Badger is an embeddable key-value store written in Go that provides persistent data storage for byte keys and values. It is a persistent database that utilizes a tiered LSM tree storage model to optimize disk storage and retrieval efficiency. The system features an ACID transaction engine that ensures data integrity through serializable snapshot isolation and multi-version concurrency control. It also provides an encrypted key-value store with data-at-rest encryption and a managed encrypted key registry to secure stored information. The engine covers a broad set of capabilities including hig

Dolphin is a multimodal layout analyzer and image-to-structure converter that transforms photographed or digital document images into machine-readable structured data. It functions as an LLM document parser, utilizing vision-language models to simultaneously predict spatial layout and text content. The system is designed as a concurrent document processor, employing parallel document parsing to process multiple elements across distributed compute nodes. This high-throughput approach reduces the total time required to convert large volumes of images into structured formats. The project covers

whatsmeow is a Go library that implements the WhatsApp multidevice protocol, providing direct access to the binary node serialization, WebSocket-based connection management, and Signal‑Protocol encryption that underpin WhatsApp’s messaging infrastructure. It maintains persistent, low-latency connections across multiple devices, handles session credentials independently for each device, and processes incoming events through an event‑driven dispatch system for messages, receipts, and presence updates. The library differentiates itself through comprehensive client‑side state management: it cache

RxGo هي مكتبة برمجة تفاعلية وظيفية وتنفيذ لـ ReactiveX للغة Go. تعمل كمجموعة أدوات لمعالجة التدفق غير المتزامن مصممة لتنسيق البرامج القائمة على الأحداث وتدفقات البيانات باستخدام نمط الملاحظ (observable). تمكن المكتبة من بناء خطوط أنابيب معالجة غير متزامنة تقوم بتحويل وتصفية ودمج تسلسلات الأحداث. وتتميز باستخدام عوامل وظيفية لتكوين خطوط الأنابيب هذه وتوفر آليات لإدارة التنفيذ المتزامن. تغطي مجموعة الأدوات مجموعة واسعة من إمكانات تنسيق التدفق، بما في ذلك تجميع البيانات، ودمج التدفقات المتعددة، وتحويل التدفقات إلى هياكل بيانات ثابتة. وتتضمن دعماً مدمجاً لاستعادة الأخطاء، والتحكم في الضغط العكسي (backpressure) لتنظيم سرعات إنتاج البيانات، وتجميع العمال (worker pooling) لموازاة المعالجة عبر أنوية وحدة المعالجة المركزية.

FirebaseChat is a real-time chat application and serverless messaging client that synchronizes conversations and messages instantly across clients. It provides a user interface for a messaging system backed by a cloud-hosted NoSQL document store. The project implements a real-time chat system through the integration of a Firebase backend, allowing for instant messaging workflows and the synchronization of data across connected clients. The application manages data using schema-less NoSQL storage and document-based data modeling. It utilizes a persistent connection for database synchronizatio

Streem is a stream-based programming language and data pipeline orchestrator. It provides a domain-specific language for defining concurrent data flows, allowing users to link data sources to destinations through a sequence of operations that transform and filter individual stream elements. The system uses a custom script syntax to define data-flow connections and pipeline definitions. This allows for the orchestration of concurrent data processing where multiple pipeline stages execute simultaneously to move data elements through the system. The platform covers functional data transformatio

Ultrajson هي مكتبة JSON عالية الأداء لـ Python ومحلل يعتمد على C مصمم لتقليل حمل التحليل. توفر تنفيذاً بلغة C لمواصفة JSON لتمكين التشفير وفك التشفير السريع للبيانات. يعمل المشروع كمعالج JSON متزامن، يدعم التسلسل وإلغاء التسلسل متعدد الخيوط لزيادة إنتاجية البيانات ومنع حظر التنفيذ. تغطي قدراتها تسلسل بيانات Python ومعالجة JSON عالية الأداء لخطوط أنابيب البيانات في الوقت الفعلي. يتضمن ذلك تحليل بيانات JSON وتسلسل الكائنات الأصلية إلى سلاسل JSON.

Concurrent-map is a lock-striped hash map and sharded concurrent cache for Go, designed as a high-performance key-value store that enables thread-safe parallel reads and writes with minimal blocking. It replaces a single global mutex with per-shard locking, using hash-based key distribution to assign entries to independent segments, allowing multiple goroutines to operate simultaneously without race conditions. The library achieves its performance through fine-grained locking and a lock-free read path, where each shard operates independently with its own lock, enabling parallel reads and writ

SSH.NET is a .NET library that implements the SSH-2 protocol for encrypted remote connections and secure file transfers. It provides a complete SSH-2 protocol stack implementation with a channel multiplexing engine that manages multiple concurrent channels over a single connection, supporting simultaneous shell sessions, remote command execution, SFTP transfers, and port forwarding tunnels. The library includes a pluggable authentication pipeline supporting password, public key, certificate, keyboard-interactive, and multi-factor authentication combinations. The library distinguishes itself t

OpenMQTTGateway هو بوابة IoT متعددة البروتوكولات وواجهة أجهزة مصممة لأجهزة ESP32 وESP8266. يعمل كجسر يحول إشارات Bluetooth Low Energy، وتردد الراديو، والأشعة تحت الحمراء إلى رسائل MQTT قياسية لاستخدامها في أنظمة أتمتة المنزل. يوفر المشروع قدرات جسر محددة لإشارات الراديو 433MHz و315MHz و868MHz، بالإضافة إلى أوامر LoRa والأشعة تحت الحمراء. ويتضمن كاشف وجود Bluetooth يراقب إعلانات الجهاز لتتبع قرب وموقع الأشخاص أو الأشياء. يتعامل النظام مع تجميع مستشعرات IoT من خلال المسح السلبي واستطلاع الراديو غير المتزامن، محولاً البيانات الثنائية الخام إلى تنسيقات JSON عبر فك تشفير الحمولة الخاصة بالأجهزة. كما يدعم توجيه الأوامر ثنائي الاتجاه لإدارة الأجهزة اللاسلكية المتصلة ومنافذ الطاقة الذكية.

Melody is a WebSocket server framework designed to upgrade HTTP connections into bidirectional streams. It functions as a session manager and binary streaming library that facilitates real-time data exchange between a server and multiple remote clients. The project features a broadcast engine that optimizes multi-client transmissions through wire-representation caching. It includes a dedicated session management system for attaching custom state to persistent network connections and an upgrade handler that validates handshake headers. The framework covers broad capability areas including eve

هذا المشروع عبارة عن مورد تعليمي مصمم لمساعدة المطورين على إتقان أنماط التنفيذ المتزامن والتزامن في Go. يوفر مجموعة منظمة من التمارين البرمجية العملية والتحديات القائمة على الاختبار التي تركز على التنفيذ العملي لممارسات هندسة البرمجيات متعددة الخيوط. يؤكد المستودع على الآليات الأساسية لتزامن Go، بما في ذلك الاتصال القائم على القنوات، وقفل الميوتكس (mutex)، وتنسيق دورة الحياة. ويغطي أنماطاً أساسية مثل إدارة مهام الخلفية، وتنفيذ عمليات إغلاق الخدمة الرشيقة، وفرض حدود المعدل أو قيود وقت التنفيذ. من خلال العمل على هذه التمارين، يتعلم المستخدمون حماية هياكل الذاكرة المشتركة ومنع ظروف السباق (race conditions) أثناء العمليات المتزامنة. تتضمن المواد أدوات اختبار مؤتمتة تستفيد من أدوات وقت التشغيل للتحقق من صحة المنطق المتزامن. ترشد هذه التمارين المتعلمين عبر الفروق الدقيقة لتنسيق الروتينات المتعددة، مما يضمن بقاء الموارد المشتركة آمنة للخيوط مع الحفاظ على إنتاجية النظام.