Awesome GitHub RepositoriesParallel Task Execution

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

Codon is an LLVM-based Python compiler and statically typed implementation that translates source code into optimized machine instructions. It functions as a high-performance numerical backend and a GPU computing framework designed to remove runtime overhead. The project implements a compiled alternative to NumPy, translating array logic directly into machine code. It differentiates itself by generating specialized hardware kernels for graphics processors and utilizing static type inference to enable aggressive machine-code optimization. The system provides capabilities for parallel workload

Edict is a multi-agent orchestration system and framework designed to coordinate specialized large language model agents. It functions as a workflow designer and orchestrator that decomposes complex objectives into structured plans, using directed acyclic graphs and role-based hierarchies to execute sub-tasks. The system is distinguished by its event-driven architecture, utilizing a publish-subscribe event bus and transactional outbox to manage agent communications and task transitions. It features a dedicated skill management system that allows for the importation, updating, and sandboxed ex

fp-ts is a TypeScript library that brings pure functional programming patterns to the language through algebraic data types, type class abstractions, and composable combinators. It provides foundational data types like Option for optional values, Either for typed error handling, and Task for lazy asynchronous computations, all designed to make invalid states unrepresentable and side effects explicit. The library is built on category theory concepts, offering type classes such as Functor, Applicative, Monad, Semigroup, and Monoid with lawful instances for common data structures. The library di

oneAPI Threading Building Blocks (oneTBB)

oneTBB هي مكتبة وإطار عمل للتوازي بلغة C++ مصممة لإضافة التوازي متعدد النواة إلى التطبيقات. توفر نموذج توازي قائماً على المهام يقوم بتعيين المهام الحسابية المنطقية إلى أنوية الأجهزة المتاحة للقضاء على الحاجة إلى إدارة الخيوط (threads) يدوياً. تعمل المكتبة كأداة توسيع متعددة النواة، وتستخدم قوالب عامة لتوسيع نطاق العمليات المتوازية للبيانات عبر المعالجات للحصول على أداء محمول. توظف إطار عمل قائماً على المهام لضمان توزيع أعباء العمل الحسابية عبر موارد الأجهزة. يغطي المشروع التوازي في الذاكرة المشتركة، وجدولة المهام متعددة النواة، وتوسيع نطاق توازي البيانات. يستخدم مجدول مهام يعتمد على سرقة العمل، وتقسيم النطاق العودي، وموازنة الحمل الديناميكية لإدارة توزيع العمل عبر الأنوية في وقت التشغيل.

Arrow is a functional programming library for Kotlin that provides tools for implementing data-oriented programming patterns. It serves as a framework for typed error handling, a concurrency toolkit, and a library for the manipulation of immutable data. The project distinguishes itself through specialized capabilities for managing application failures using explicit types instead of exceptions and implementing resilience patterns such as circuit breakers and retry policies for distributed services. It also provides optics to update and query deeply nested immutable data structures without man

OCaml is a strongly typed functional language featuring a sophisticated type system and a focus on safety and expressiveness. It provides a comprehensive compiling toolchain that transforms source code into either portable bytecode or high-performance native binaries. The project is distinguished by a shared memory parallel runtime that executes computations across multiple processor cores using domains, and an algebraic effect system for managing side effects and control flow through execution context handlers. It also includes a dedicated parser generator to automatically create lexers and

Open Multi-Agent is a TypeScript framework for multi-agent orchestration that decomposes natural language goals into a runtime-generated directed acyclic graph of tasks. It functions as a task orchestrator and workflow state manager, coordinating multiple AI models to execute parallel and sequential operations. The framework is distinguished by a proposer-judge consensus protocol used to validate agent outputs through a quorum of agreement. It employs provider-agnostic model routing to assign specific models to tasks based on roles or execution phases and utilizes state-based workflow checkpo

Moleculer is a Node.js microservices framework designed for building distributed systems. It functions as a distributed service broker, task orchestrator, and service mesh framework, enabling a decentralized architecture with built-in service discovery and load balancing. The project differentiates itself through a pluggable transport layer supporting protocols such as NATS, Redis, TCP, and Kafka, as well as a dedicated microservices API gateway that maps external HTTP and WebSocket requests to internal service actions. It includes built-in fault tolerance mechanisms, including circuit breake

Elvish is a shell that combines interactive command-line use with a structured scripting language, designed to make both everyday terminal work and automation tasks more predictable and readable. It parses, compiles, and executes code in three phases, catching syntax and variable errors before any code runs, and it aborts execution on command failure by default to prevent silent errors. The shell introduces value-oriented pipelines that pass structured data like lists, maps, and closures between commands, preserving types without serialization. It also mixes traditional byte streams with thes

vcmi هو محرك ألعاب مفتوح المصدر لـ Heroes of Might and Magic III يعيد إنشاء طريقة اللعب والمنطق والعرض للعبة الاستراتيجية الأصلية. يعمل كمحرك ألعاب عبر الأنظمة الأساسية يدعم Windows و Linux و macOS و Android و iOS، ويوفر محاكاة استراتيجية قائمة على الأدوار للتنقل في خريطة العالم الاستراتيجية والقتال التكتيكي. تم بناء المشروع كإطار عمل ألعاب قابل للتعديل (moddable)، ويتميز بنظام تعديل قائم على البيانات وتكامل برمجي بـ Lua في بيئة معزولة. تسمح هذه الميزات بتعريف منطق اللعب المخصص، وتأثيرات التعاويذ، وإضافة فصائل وشخصيات وأصول جديدة من خلال ملفات تكوين خارجية والتحقق من صحة المخطط. يتضمن المحرك مزامناً لحالة اللعب الجماعي ينسق الأدوار المتزامنة وتحديثات حالة اللعبة بين العملاء عبر التسلسل الثنائي. كما يدمج ذكاءً اصطناعياً لمحاكاة الاستراتيجية، ونظاماً مخصصاً لتأليف وتوليد الخرائط، وأدوات لتجاوز الأصول والتعريب. يدعم البرنامج تكوينات البناء متعددة الأنظمة ويوفر أدوات لاستخراج بيانات اللعبة وتصحيح حالات اللعبة.

Leaf is a game server framework written in Go designed for building multiplayer game backends. It provides a modular backend architecture that organizes server logic into independent modules and includes a concurrent task scheduler for managing ordered, delayed, or recurring functions. The framework features a TCP and WebSocket server that manages simultaneous connections through a single interface. It incorporates a message router capable of decoding Protobuf and JSON data to map incoming network packets to specific internal server modules. The system includes capabilities for multi-protoco

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

GraphQL-Ruby هو مكتبة Ruby لبناء واجهات برمجة تطبيقات GraphQL بمخطط مكتوب بقوة ومحرك تنفيذ استعلام مخصص. يوفر إطار عمل شاملاً لربط كائنات التطبيق بنظام أنواع رسمي، مما يتيح جلب البيانات المهيكلة من خلال أدوات حل (Resolvers) محددة. يتميز المشروع بآليات متقدمة للأداء والتسليم، بما في ذلك محمل بيانات (Data Loader) للتجميع والتخزين المؤقت لمنع أنماط استعلام N+1. يدعم تسليم البيانات عالي الأداء من خلال بث الاستجابة التزايدي، واستجابات الاستعلام المؤجلة، وجلب البيانات المتوازي باستخدام الألياف (Fibers). بالإضافة إلى ذلك، يوفر دعماً أصلياً لاتفاقيات Relay، بما في ذلك مساعدين متخصصين للاتصالات وتحديد الكائنات. تغطي المكتبة مساحة واسعة من إدارة واجهة برمجة التطبيقات، وتتميز بالتحكم الدقيق في الوصول، وإصدار المخطط للحفاظ على التوافق مع الإصدارات السابقة، والتحديثات في الوقت الفعلي عبر الاشتراكات. كما تتضمن أدوات إدارة حركة المرور لحماية موارد الخادم، مثل تحديد تعقيد الاستعلام وتحديد معدل الطلب. يتم دعم التطوير وقابلية المراقبة من خلال أدوات تحليل AST، وتتبع التنفيذ، وأدوات اختبار متخصصة للتحقق من التحميل المجمع.

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

FluidX3D هو محرك حساب ديناميكا الموائع المسرع بواسطة GPU ومحاكي موائع قائم على الفوكسل. يستخدم طريقة lattice Boltzmann لمحاكاة سلوك الغاز والسائل، والضغط، والسرعة من خلال تجريد أجهزة قائم على OpenCL يدعم كلاً من معالجات الرسومات والمعالجات المركزية. يتخصص النظام في محاكاة التدفق متعدد الأطوار باستخدام طرق حجم المائع لنمذجة السطح الحر والقطرات. يتضمن محاكياً حرارياً لنمذجة انتقال الحرارة والحمل الحراري، إلى جانب أدوات لتحليل القوة الديناميكية الهوائية لحساب الرفع والسحب وعزم الدوران على الأجسام الفيزيائية. يوفر البرنامج مجموعة شاملة من إمكانيات المحاكاة، بما في ذلك تتبع جسيمات لاغرانج لتفاعل الموائع ثنائي الاتجاه، وتحريك الأجسام الدوارة عبر إعادة التفوكسل الدوري، وتثبيت التدفق المضطرب لأرقام رينولدز العالية. يتعامل مع البيانات من خلال استيراد هندسة شبكة المثلث ويدعم طرق تصور متنوعة، بما في ذلك استخراج سطح مكعبات المسيرة، والتنقيط في الذاكرة، وعرض الفيديو. تتم إدارة الأداء من خلال تقسيم المجال متعدد GPU وضغط الذاكرة بنصف الدقة.

Radash هي مكتبة أدوات وظيفية لـ TypeScript مصممة لتحويل البيانات، والتحقق من الصحة، وإدارة سير العمل. توفر مجموعة من دوال المساعدة المكتوبة بأنواع لمعالجة المصفوفات، والكائنات، والسلاسل. يتميز المشروع بمجموعة أدوات سير عمل غير متزامنة لإدارة الوعود، وإعادة المحاولات، وحدود التزامن، إلى جانب مجموعة من أدوات التحقق المنطقية للتحقق من الأنواع البدائية، والكائنات، والوعود. كما يطبق أنماط البرمجة الوظيفية مثل تكوين الدوال، والتطبيق الجزئي، وأنماط الاستجابة الأولى للخطأ. تغطي المكتبة مساحة واسعة من القدرات، بما في ذلك إدارة حالة الكائن مع الاستنساخ والدمج العميق، ومعالجات المصفوفات المعقدة، وتنسيق السلاسل. توفر بالإضافة إلى ذلك أدوات لتحسين التنفيذ، مثل تحديد المعدل وتخزين النتائج مؤقتاً.

statsforecast هي مكتبة تنبؤ بالسلاسل الزمنية إحصائية عالية الأداء مصممة لإنشاء تنبؤات نقطية وفترات تنبؤ. تعمل كإطار عمل موزع للسلاسل الزمنية يستخدم محرك تنبؤ قائم على C ومحدد نماذج آلي لتحديد وملاءمة النموذج الإحصائي الأمثل لكل سلسلة فريدة في مجموعة البيانات. يتضمن النظام أيضاً كاشف شذوذ للسلاسل الزمنية لتحديد نقاط البيانات غير العادية من خلال مقارنة القيم المرصودة مقابل فترات التنبؤ الاحتمالية. يتميز المشروع بقدرته على التعامل مع التنبؤ المتوازي على نطاق واسع لملايين السلاسل الفردية. ويحقق ذلك من خلال إطار عمل حوسبة موزع، وتنفيذ متوازي متعدد النواة، ونوى C مجمعة تسرع منطق ARIMA الأساسي والتنعيم الأسي. كما يعمل النظام على تحسين المعالجة واسعة النطاق باستخدام تخطيط بيانات طويل التنسيق وخط أنابيب بيانات التقييم الكسول لتقليل حمل الذاكرة. توفر المكتبة مجموعة شاملة من النماذج، بما في ذلك AutoARIMA، وطرق تنعيم أسي متنوعة للطلب المتقطع أو الموسمي، وتحليل Theta، ونمذجة تقلب GARCH للمخاطر المالية. وتغطي مجالات قدرات أوسع مثل التنبؤ متعدد المتغيرات مع متغيرات خارجية، وتحليل السلاسل الزمنية، وتقييم النموذج عبر التحقق المتبادل التاريخي وتحليل النافذة المنزلقة. تتكامل المكتبة مع هياكل بيانات عالية الأداء مثل Polars وتوفر أدوات لخدمة النماذج المحفوظة كنقاط نهاية REST للتنبؤات التي يمكن الوصول إليها عبر الشبكة.

This repository is a collection of JavaScript coding challenges and a comprehensive interview guide. It provides reference implementations and educational examples designed to help developers master language fundamentals and prepare for technical interviews. The project covers a wide array of specialized implementations, including functional programming patterns like currying and partial application, as well as asynchronous patterns for concurrency control. It also includes practical examples of Document Object Model manipulation and the implementation of common data structures such as stacks