Awesome GitHub RepositoriesParallel Task Execution

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

Codon is an LLVM-based Python compiler and statically typed implementation that translates source code into optimized machine instructions. It functions as a high-performance numerical backend and a GPU computing framework designed to remove runtime overhead. The project implements a compiled alternative to NumPy, translating array logic directly into machine code. It differentiates itself by generating specialized hardware kernels for graphics processors and utilizing static type inference to enable aggressive machine-code optimization. The system provides capabilities for parallel workload

Edict is a multi-agent orchestration system and framework designed to coordinate specialized large language model agents. It functions as a workflow designer and orchestrator that decomposes complex objectives into structured plans, using directed acyclic graphs and role-based hierarchies to execute sub-tasks. The system is distinguished by its event-driven architecture, utilizing a publish-subscribe event bus and transactional outbox to manage agent communications and task transitions. It features a dedicated skill management system that allows for the importation, updating, and sandboxed ex

fp-ts is a TypeScript library that brings pure functional programming patterns to the language through algebraic data types, type class abstractions, and composable combinators. It provides foundational data types like Option for optional values, Either for typed error handling, and Task for lazy asynchronous computations, all designed to make invalid states unrepresentable and side effects explicit. The library is built on category theory concepts, offering type classes such as Functor, Applicative, Monad, Semigroup, and Monoid with lawful instances for common data structures. The library di

oneAPI Threading Building Blocks (oneTBB)

oneTBB एक C++ पैरेललिज़्म लाइब्रेरी और फ्रेमवर्क है जिसे एप्लिकेशन में मल्टी-कोर पैरेललिज़्म जोड़ने के लिए डिज़ाइन किया गया है। यह एक टास्क-आधारित पैरेललिज़्म मॉडल प्रदान करता है जो मैनुअल थ्रेड मैनेजमेंट की आवश्यकता को समाप्त करने के लिए उपलब्ध हार्डवेयर कोर पर तार्किक कंप्यूटेशनल कार्यों को मैप करता है। यह लाइब्रेरी एक मल्टी-कोर स्केलिंग टूल के रूप में कार्य करती है, जो पोर्टेबल प्रदर्शन के लिए प्रोसेसर पर डेटा-पैरेलल ऑपरेशन्स को स्केल करने के लिए जेनेरिक टेम्प्लेट का उपयोग करती है। यह सुनिश्चित करने के लिए कि कंप्यूटेशनल वर्कलोड हार्डवेयर संसाधनों पर वितरित किए जाते हैं, एक टास्क-आधारित फ्रेमवर्क का उपयोग करती है। यह प्रोजेक्ट शेयर्ड मेमोरी पैरेललिज़्म, मल्टी-कोर टास्क शेड्यूलिंग और डेटा पैरेललिज़्म स्केलिंग को कवर करता है। यह रनटाइम पर कोर के बीच काम के वितरण को प्रबंधित करने के लिए वर्क-स्टीलिंग टास्क शेड्यूलर, रिकर्सिव रेंज स्प्लिटिंग और डायनामिक लोड बैलेंसिंग का उपयोग करता है।

Arrow is a functional programming library for Kotlin that provides tools for implementing data-oriented programming patterns. It serves as a framework for typed error handling, a concurrency toolkit, and a library for the manipulation of immutable data. The project distinguishes itself through specialized capabilities for managing application failures using explicit types instead of exceptions and implementing resilience patterns such as circuit breakers and retry policies for distributed services. It also provides optics to update and query deeply nested immutable data structures without man

OCaml is a strongly typed functional language featuring a sophisticated type system and a focus on safety and expressiveness. It provides a comprehensive compiling toolchain that transforms source code into either portable bytecode or high-performance native binaries. The project is distinguished by a shared memory parallel runtime that executes computations across multiple processor cores using domains, and an algebraic effect system for managing side effects and control flow through execution context handlers. It also includes a dedicated parser generator to automatically create lexers and

Open Multi-Agent is a TypeScript framework for multi-agent orchestration that decomposes natural language goals into a runtime-generated directed acyclic graph of tasks. It functions as a task orchestrator and workflow state manager, coordinating multiple AI models to execute parallel and sequential operations. The framework is distinguished by a proposer-judge consensus protocol used to validate agent outputs through a quorum of agreement. It employs provider-agnostic model routing to assign specific models to tasks based on roles or execution phases and utilizes state-based workflow checkpo

Moleculer is a Node.js microservices framework designed for building distributed systems. It functions as a distributed service broker, task orchestrator, and service mesh framework, enabling a decentralized architecture with built-in service discovery and load balancing. The project differentiates itself through a pluggable transport layer supporting protocols such as NATS, Redis, TCP, and Kafka, as well as a dedicated microservices API gateway that maps external HTTP and WebSocket requests to internal service actions. It includes built-in fault tolerance mechanisms, including circuit breake

Elvish is a shell that combines interactive command-line use with a structured scripting language, designed to make both everyday terminal work and automation tasks more predictable and readable. It parses, compiles, and executes code in three phases, catching syntax and variable errors before any code runs, and it aborts execution on command failure by default to prevent silent errors. The shell introduces value-oriented pipelines that pass structured data like lists, maps, and closures between commands, preserving types without serialization. It also mixes traditional byte streams with thes

vcmi, Heroes of Might and Magic III के लिए एक ओपन-सोर्स गेम इंजन है जो मूल रणनीति गेम के गेमप्ले, लॉजिक और रेंडरिंग को फिर से बनाता है। यह Windows, Linux, macOS, Android और iOS को सपोर्ट करने वाला एक क्रॉस-प्लेटफ़ॉर्म गेम रनटाइम है, जो रणनीतिक वर्ल्ड मैप नेविगेशन और टैक्टिकल कॉम्बैट के लिए एक टर्न-आधारित रणनीति सिम्युलेटर प्रदान करता है। यह प्रोजेक्ट एक मॉडेबल गेम फ्रेमवर्क के रूप में बनाया गया है, जिसमें डेटा-संचालित मॉडिंग सिस्टम और एक सैंडबॉक्स्ड Lua स्क्रिप्टिंग एकीकरण है। ये बाहरी कॉन्फ़िगरेशन फ़ाइलों और स्कीमा वैलिडेशन के माध्यम से कस्टम गेमप्ले लॉजिक, स्पेल इफेक्ट्स और नए गुटों, पात्रों और एसेट्स को जोड़ने की अनुमति देते हैं। इस इंजन में एक मल्टीप्लेयर स्टेट सिंक्रोनाइज़र शामिल है जो बाइनरी सीरियलाइज़ेशन के माध्यम से क्लाइंट्स के बीच एक साथ टर्न और गेम स्टेट अपडेट्स का समन्वय करता है। इसमें रणनीति सिमुलेशन के लिए इंटीग्रेटेड आर्टिफिशियल इंटेलिजेंस, एक समर्पित मैप ऑथरिंग और जनरेशन सिस्टम, और एसेट ओवरराइड्स और लोकलाइज़ेशन के लिए टूल्स भी शामिल हैं। यह सॉफ़्टवेयर मल्टी-प्लेटफ़ॉर्म बिल्ड कॉन्फ़िगरेशन को सपोर्ट करता है और गेम डेटा निकालने और गेम स्टेट्स को डिबग करने के लिए टूल्स प्रदान करता है।

Leaf, Go में लिखा गया एक गेम सर्वर फ़्रेमवर्क है जिसे मल्टीप्लेयर गेम बैकएंड बनाने के लिए डिज़ाइन किया गया है। यह एक मॉड्यूलर बैकएंड आर्किटेक्चर प्रदान करता है जो सर्वर लॉजिक को स्वतंत्र मॉड्यूल्स में व्यवस्थित करता है और इसमें ऑर्डर्ड, डिलेड या आवर्ती फ़ंक्शंस को मैनेज करने के लिए एक समवर्ती (concurrent) टास्क शेड्यूलर शामिल है। इस फ़्रेमवर्क में एक TCP और WebSocket सर्वर है जो एक ही इंटरफ़ेस के माध्यम से एक साथ कई कनेक्शन्स को मैनेज करता है। इसमें Protobuf और JSON डेटा को डिकोड करने में सक्षम एक मैसेज राउटर शामिल है जो आने वाले नेटवर्क पैकेट्स को विशिष्ट आंतरिक सर्वर मॉड्यूल्स से मैप करता है। सिस्टम में मल्टी-प्रोटोकॉल नेटवर्क रूटिंग, मल्टीकोर वर्कलोड डिस्ट्रीब्यूशन और सिस्टम इवेंट लॉगिंग की क्षमताएं शामिल हैं। यह डेटा लुकअप के लिए CSV कॉन्फ़िगरेशन फ़ाइलों को मेमोरी-रेसिडेंट इंडेक्स्ड स्ट्रक्चर्स में लोड करने के लिए यूटिलिटीज़ भी प्रदान करता है।

Inngest is a durable execution framework and event-driven automation engine designed to orchestrate background workflows. It enables developers to build resilient, stateful processes by memoizing function steps, ensuring that long-running tasks can automatically resume from the last successful operation after failures, timeouts, or infrastructure restarts. The platform distinguishes itself through its event-driven architecture, which uses a schema-validated bus to trigger functions and coordinate complex, multi-step logic. It employs an onion-model middleware approach for cross-cutting concer

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

GraphQL-Ruby एक स्ट्रॉन्गली टाइप्ड स्कीमा और समर्पित क्वेरी निष्पादन इंजन के साथ GraphQL APIs बनाने के लिए एक Ruby लाइब्रेरी है। यह एप्लिकेशन ऑब्जेक्ट्स को एक औपचारिक टाइप सिस्टम में मैप करने के लिए एक व्यापक फ्रेमवर्क प्रदान करता है, जो परिभाषित रिजॉल्वर्स के माध्यम से स्ट्रक्चर्ड डेटा फेचिंग को सक्षम बनाता है। यह प्रोजेक्ट उन्नत प्रदर्शन और डिलीवरी तंत्र के साथ खुद को अलग करता है, जिसमें N+1 क्वेरी पैटर्न को रोकने के लिए बैचिंग और कैशिंग के लिए डेटा लोडर शामिल है। यह इंक्रीमेंटल रिस्पॉन्स स्ट्रीमिंग, डिफर्ड क्वेरी रिस्पॉन्स और फाइबर्स का उपयोग करके समानांतर डेटा फेचिंग के माध्यम से उच्च-प्रदर्शन डेटा डिलीवरी का समर्थन करता है। इसके अतिरिक्त, यह Relay कन्वेंशन के लिए नेटिव समर्थन प्रदान करता है, जिसमें कनेक्शन्स और ऑब्जेक्ट आइडेंटिफिकेशन के लिए विशेष हेल्पर्स शामिल हैं। यह लाइब्रेरी API प्रबंधन के एक व्यापक क्षेत्र को कवर करती है, जिसमें फाइन-ग्रेन्ड एक्सेस कंट्रोल, बैकवर्ड कम्पैटिबिलिटी बनाए रखने के लिए स्कीमा वर्शनिंग और सब्सक्रिप्शन के माध्यम से रीयल-टाइम अपडेट शामिल हैं। इसमें सर्वर संसाधनों की सुरक्षा के लिए ट्रैफिक मैनेजमेंट टूल्स भी शामिल हैं, जैसे क्वेरी कॉम्प्लेक्सिटी लिमिटिंग और रिक्वेस्ट रेट लिमिटिंग। डेवलपमेंट और ऑब्जर्वेबिलिटी को AST एनालिसिस टूल्स, निष्पादन ट्रेसिंग और बैच लोडिंग वेरिफिकेशन के लिए विशेष टेस्टिंग यूटिलिटीज के माध्यम से समर्थित किया जाता है।

FluidX3D एक GPU-त्वरित कम्प्यूटेशनल फ्लूइड डायनामिक्स सॉल्वर और वोक्सेल-आधारित फ्लूइड सिम्युलेटर है। यह OpenCL-आधारित हार्डवेयर एब्स्ट्रैक्शन के माध्यम से गैस और तरल व्यवहार, दबाव और वेग को अनुकरण करने के लिए लैटिस बोल्ट्ज़मैन विधि का उपयोग करता है जो ग्राफिक्स प्रोसेसर और CPUs दोनों का समर्थन करता है। सिस्टम फ्री सरफेस मॉडलिंग और बूंदों के लिए वॉल्यूम-ऑफ-फ्लूइड विधियों का उपयोग करके मल्टी-फेज फ्लो सिमुलेशन में माहिर है। इसमें गर्मी हस्तांतरण और थर्मल संवहन को मॉडल करने के लिए एक थर्मल सिम्युलेटर शामिल है, साथ ही भौतिक वस्तुओं पर लिफ्ट, ड्रैग और टॉर्क की गणना करने के लिए वायुगतिकीय बल विश्लेषण के लिए टूल भी शामिल हैं। सॉफ़्टवेयर सिमुलेशन क्षमताओं का एक व्यापक सूट प्रदान करता है, जिसमें टू-वे फ्लूइड इंटरैक्शन के लिए लैग्रेंजियन पार्टिकल ट्रैकिंग, आवधिक री-वोक्सेलाइजेशन के माध्यम से घूमने वाली वस्तु एनीमेशन, और उच्च रेनॉल्ड्स संख्याओं के लिए टर्बुलेंट फ्लो स्थिरीकरण शामिल है। यह त्रिकोण मेश ज्यामिति आयात के माध्यम से डेटा को संभालता है और मार्चिंग क्यूब्स सरफेस एक्सट्रैक्शन, इन-मेमोरी रैस्टराइजेशन और वीडियो रेंडरिंग सहित विभिन्न विज़ुअलाइज़ेशन विधियों का समर्थन करता है। प्रदर्शन का प्रबंधन मल्टी-GPU डोमेन डिकंपोजिशन और हाफ-प्रिसिजन मेमोरी कम्प्रेशन के माध्यम से किया जाता है।

Radash, डेटा रूपांतरण, सत्यापन और वर्कफ़्लो प्रबंधन के लिए डिज़ाइन की गई एक TypeScript कार्यात्मक उपयोगिता लाइब्रेरी है। यह एरे, ऑब्जेक्ट्स और स्ट्रिंग्स में हेरफेर करने के लिए टाइप्ड हेल्पर फंक्शन्स का एक संग्रह प्रदान करती है। इस प्रोजेक्ट में प्रॉमिस, रिट्रीज़ और कॉनकरेंसी लिमिट्स को प्रबंधित करने के लिए एक एसिंक्रोनस वर्कफ़्लो टूलकिट है, साथ ही प्रिमिटिव प्रकारों, ऑब्जेक्ट्स और प्रॉमिस को सत्यापित करने के लिए बूलियन वैलिडेटर्स का एक सुइट है। यह फंक्शन कंपोज़िशन, पार्शियल एप्लिकेशन और एरर-फर्स्ट रिस्पॉन्स पैटर्न जैसे कार्यात्मक प्रोग्रामिंग पैटर्न को भी लागू करता है। लाइब्रेरी डीप क्लोनिंग और मर्जिंग के साथ ऑब्जेक्ट स्टेट प्रबंधन, जटिल एरे हेरफेर और स्ट्रिंग फॉर्मेटिंग सहित क्षमताओं की एक विस्तृत सतह को कवर करती है। यह अतिरिक्त रूप से निष्पादन ऑप्टिमाइज़ेशन के लिए टूल्स प्रदान करती है, जैसे कि रेट लिमिटिंग और रिजल्ट कैशिंग।

statsforecast is a high-performance statistical time series forecasting library designed to generate point forecasts and prediction intervals. It functions as a distributed time series framework that utilizes a C-based forecasting engine and an automated model selector to identify and fit the optimal statistical model for every unique series in a dataset. The system also includes a time series anomaly detector to identify unusual data points by comparing observed values against probabilistic forecast intervals. The project is distinguished by its ability to handle massive-scale parallel forec

यह रिपॉजिटरी JavaScript कोडिंग चुनौतियों और एक व्यापक साक्षात्कार गाइड का संग्रह है। यह डेवलपर्स को भाषा के मूल सिद्धांतों में महारत हासिल करने और तकनीकी साक्षात्कारों की तैयारी में मदद करने के लिए डिज़ाइन किए गए संदर्भ कार्यान्वयन और शैक्षिक उदाहरण प्रदान करता है। यह प्रोजेक्ट विशेष कार्यान्वयनों की एक विस्तृत श्रृंखला को कवर करता है, जिसमें करीइंग (currying) और आंशिक अनुप्रयोग (partial application) जैसे कार्यात्मक प्रोग्रामिंग पैटर्न, साथ ही समवर्ती नियंत्रण (concurrency control) के लिए एसिंक्रोनस पैटर्न शामिल हैं। इसमें डॉक्यूमेंट ऑब्जेक्ट मॉडल हेरफेर और स्टैक व कतार (queues) जैसी सामान्य डेटा संरचनाओं के कार्यान्वयन के व्यावहारिक उदाहरण भी शामिल हैं। व्यापक रूप से, संग्रह उन्नत भाषा सुविधाओं, डिज़ाइन पैटर्न कार्यान्वयन और डेटा संरचना हेरफेर तक फैला हुआ है। यह एक सतह क्षेत्र को संबोधित करता है जिसमें एसिंक्रोनस प्रोग्रामिंग, DOM इंटरैक्शन, ऑब्जेक्ट-ओरिएंटेड निर्माण पैटर्न और लो-लेवल प्रिमिटिव संचालन शामिल हैं।