Awesome GitHub RepositoriesProcess Sharding

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

Discord.js is a Node.js library and framework for interacting with the Discord API. It provides a comprehensive set of wrappers for REST and WebSocket connections, enabling the development of automated server accounts and real-time chat applications. The project distinguishes itself through a distributed bot sharding system that splits a single bot instance across multiple processes to handle high server counts and large-scale workloads. It also includes a specialized voice API wrapper for managing audio streams and voice channel connectivity. The library covers broad capability areas includ

Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations

Cassandra is a distributed NoSQL database and wide-column store designed for high availability and linear scalability. It functions as a fault-tolerant distributed system that utilizes an LSM-tree storage engine to optimize write throughput and manage massive datasets. The system is a CQL-compliant database, using a structured query language to manage and retrieve tabular data stored across multiple nodes. It organizes information into rows and columns based on a flexible schema and primary keys. The project provides capabilities for horizontal database scaling, distributed data partitioning

This project provides educational materials and courseware focused on the theoretical and practical foundations of distributed systems design. It serves as a comprehensive curriculum covering the disciplines of consensus, data consistency, reliability engineering, and scalability. The instructional content focuses on achieving cluster agreement through consensus algorithms and managing system-wide state via coordination frameworks. It includes a dedicated guide to data theory, exploring replication strategies, consistency models, and data convergence. The courseware covers a broad capability

This project is a comprehensive knowledge base and study resource designed for mastering technical interviews. It provides structured guides, roadmaps, and curricula focused on data structures, algorithms, system design, and frontend engineering to help candidates prepare for software engineering screenings. The repository distinguishes itself by offering a holistic approach to professional advancement. Beyond technical drills, it includes a career development handbook covering resume optimization, salary benchmarking, and strategic negotiation coaching. It also provides detailed methodologie

This project is a comprehensive educational resource and curriculum focused on site reliability engineering, distributed systems, and infrastructure operations. It provides technical guides, a systems engineering course, and instructional manuals designed to teach the principles of managing large-scale computing environments. The curriculum covers high-level architectural design for scalability and resilience, including fault-tolerant infrastructure, high-availability patterns, and microservices decomposition. It emphasizes the practical application of site reliability engineering through the

kube-prometheus is a monitoring stack deployment and orchestration framework. It uses an operator pattern to automate the installation and lifecycle management of Prometheus and Alertmanager via custom resource definitions. The project focuses on scaling data collection through hash-based target sharding and topology-aware distribution to reduce cross-zone traffic. It implements a sidecar-based configuration reloading mechanism and utilizes consistent hashing to distribute scrape targets across multiple instances. The system covers broad observability capabilities including metric data colle

oneAPI Threading Building Blocks (oneTBB)

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Discordgo is a Go library for building Discord bots and integrations, providing a complete client for both the Discord REST API and the real-time Gateway WebSocket protocol. It serves as a foundational package for developers who need to connect authenticated clients to Discord servers, send messages, handle events, and manage real-time communication programmatically. The library distinguishes itself through a comprehensive set of architectural components designed for production bot development. It includes a command routing middleware system that parses incoming messages and dispatches them t

Fluvio هو منصة تدفق أحداث موزعة ومحرك تدفق سحابي أصلي مصمم لجمع وتخزين ونسخ تدفقات البيانات في الوقت الفعلي عبر مجموعة موزعة. يعمل كخط أنابيب بيانات في الوقت الفعلي لبناء سير عمل ذي حالة يقوم باستيعاب وإثراء وتصدير البيانات بين المصادر والمصارف الخارجية. تتميز المنصة باستخدام WebAssembly لتنفيذ وحدات مجمعة لتحويلات البيانات والفلترة المضمنة. يسمح هذا بتنفيذ منطق أعمال مخصص لإعادة تشكيل المعلومات أثناء الحركة دون الحاجة إلى إعادة تشغيل المجموعة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك استيعاب البيانات القائم على الموصلات من بروتوكولات خارجية، وتخزين غير قابل للتغيير قائم على السجلات مع إدخال/إخراج بدون نسخ، وتوسيع المجموعة الأفقي. يدعم إنشاء خطوط أنابيب معقدة قائمة على الأحداث تستخدم المعالجة ذات الحالة، والتجميعات القائمة على النوافذ، وتوزيع البيانات القائم على التقسيم. يمكن نشر المحرك كثنائي خفيف الوزن على معماريات نظام متنوعة، بما في ذلك أجهزة ARM64 IoT لمعالجة بيانات الحافة.

Titan هو قاعدة بيانات رسوم بيانية موزعة ومحرك حوسبة مصمم لتخزين والاستعلام عن مجموعات بيانات ضخمة من العقد والحواف المترابطة عبر مجموعات متعددة الأجهزة. يعمل كطبقة تخزين رسوم بيانية قابلة للتوسع ومتجر معاملات، ويوفر إطار عمل لتنفيذ مهام معالجة الرسوم البيانية واسعة النطاق والاجتيازات العميقة. يتميز النظام بخلفية تخزين قابلة للتوصيل، والتي تفصل محرك الرسوم البيانية عن طبقة الاستمرارية المادية. يستخدم تقسيم البيانات بقطع الرأس (vertex-cut) لموازنة أحمال المعالجة ونموذج خاصية عدد العناصر الذي يسمح للخصائص الفردية بتخزين قيم متعددة. تغطي المنصة مجموعة واسعة من القدرات، بما في ذلك فهرسة الرسوم البيانية متعددة النماذج لعمليات البحث الجغرافية والنص الكامل، وإدارة المخطط العالمي لإعادة فهرسة مجموعات البيانات، وعمليات المعاملات المضمونة بواسطة تسجيل الكتابة المسبقة. كما تدمج انتهاء صلاحية العناصر عبر إعدادات وقت البقاء (TTL) ومراقبة أداء النظام لتتبع نشاط الاستعلام وزمن انتقال المعاملات.

WeNet is an end-to-end automatic speech recognition (ASR) toolkit designed for both Chinese and English, built around transformer-based models. It supports streaming and non-streaming inference out of the box, and is structured to be production-ready, with model export and deployment paths for servers and mobile devices. The toolkit distinguishes itself through a chunk-based streaming transformer architecture that processes audio in fixed-size segments for low latency while preserving context across chunks. It jointly trains models with both CTC and attention loss to combine alignment accurac

JDA هو غلاف Java لـ Discord API، يوفر إطار عمل لبناء وكلاء آليين ودمج التطبيقات مع منصة الدردشة. يعمل كعميل REST API لإدارة كيانات الخادم وعميل بوابة يحافظ على اتصالات WebSocket مستمرة لتحديثات الحالة في الوقت الفعلي. تتميز المكتبة بوحدة API صوتية شاملة لإدارة بث الصوت، واتصال قناة الصوت، وتكامل لوحة الصوت. كما تتضمن مجموعة أدوات متخصصة لتصميم واجهة المستخدم التفاعلية، مما يتيح إنشاء أوامر الشرطة المائلة، والأزرار، وقوائم الاختيار، ونماذج إدخال المشروط. بشكل عام، يغطي المشروع إدارة المجتمع من خلال إدارة القواعد الآلية، وإدارة الخادم عبر تكوين القناة والدور، وإدارة حركة المرور باستخدام التقسيم (sharding) لتوزيع أحمال الأحداث. كما يوفر أدوات لإنشاء محتوى الوسائط الغنية واسترجاع ملف تعريف العضو المفصل.

JDA هي مكتبة Java تعمل كغلاف Discord API، وإطار عمل للبوت، وعميل API صوتي. تتيح للتطبيقات التفاعل مع Discord REST API والبوابة في الوقت الفعلي لبناء مساعدين آليين، وإدارة الخوادم، والتعامل مع تفاعلات المستخدم. يتضمن المشروع مدير تقسيم لتوزيع اتصالات البوابة عبر أقسام متعددة لتوسيع عمليات النشر ذات الحجم الكبير. كما يوفر مكتبة مكونات واجهة المستخدم لإنشاء أزرار تفاعلية، وقوائم اختيار، ونماذج مشروطة داخل الرسائل. تغطي قدراتها إدارة الصوت والصوت، بما في ذلك بث الصوت وتشغيل لوحة الصوت. تتضمن المكتبة أيضًا أدوات لإدارة المجتمع، وإدارة الخادم، والإشراف الآلي على المحتوى من خلال مشغلات قائمة على القواعد. ينفذ النظام مجموعة متنوعة من الأنماط المعمارية، بما في ذلك سجل مستمع قائم على الأحداث، وتخزين مؤقت للذاكرة قابل للتكوين، ومعالجة تلقائية لحد المعدل لطلبات API.

Zeebe هو محرك سير عمل سحابي أصلي وآلة حالة موزعة مصممة لتنسيق العمليات التجارية باستخدام معايير BPMN وDMN. يعمل كمحرك سير عمل gRPC عالي الأداء ينفذ عمليات تجارية معقدة من خلال بنية تدفق أحداث مجزأة. يعمل النظام أيضاً كمنسق لوكلاء النماذج اللغوية الكبيرة، حيث ينسق تفكير الذكاء الاصطناعي واستخدام الأدوات ضمن العمليات التجارية الحتمية. يتميز المحرك بشبكة وسيطة من نظير إلى نظير ونموذج تكرار بيانات قائم على الإجماع يضمن التوافر العالي وتحمل الأخطاء. يستخدم مجموعة وسطاء مجزأة لتحقيق قابلية التوسع الأفقي ويستخدم ضغطاً عكسياً للطلب التكيفي لتنظيم تدفق الأوامر الوارد ومنع التحميل الزائد للنظام. تغطي المنصة سطحاً واسعاً من الإمكانيات التشغيلية، بما في ذلك مراقبة التنفيذ في الوقت الفعلي مع خرائط حرارة الأداء، واتخاذ القرارات التجارية المؤتمتة عبر جداول القرار، وتنفيذ المهام الموزعة من خلال نموذج عامل مهمة يعتمد على الاقتراع. كما يوفر أدوات لعزل موارد المستأجرين المتعددين، والتحكم في الوصول القائم على الهوية، وتكامل واجهات برمجة تطبيقات الويب الخارجية والدوال بدون خادم. يمكن نشر النظام عبر بيئات مختلفة، بما في ذلك Kubernetes وDocker، ويتم إدارته من خلال مزيج من واجهة سطر الأوامر وواجهة برمجة تطبيقات REST برمجية.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind