Awesome GitHub RepositoriesCustom Task Executors

xxl-job is a distributed task scheduling platform and job orchestrator designed to manage and trigger timed jobs across a cluster of remote executor nodes. It provides a centralized system for scheduling tasks, linking dependent jobs, and managing complex execution lifecycles through a relational database that persists configurations and logs. The platform distinguishes itself through a web-based interface for cron job management, allowing users to create and update scheduled tasks without modifying source code. It supports cross-language task execution by triggering logic on third-party exec

This project is a build orchestration engine and development toolkit designed for managing large-scale monorepos. It provides a unified workspace environment that maps project relationships and dependencies, enabling the system to perform intelligent impact analysis and execute only the tasks affected by specific code changes. The system distinguishes itself through a persistent daemon that monitors file changes for near-instant feedback and a content-addressable caching mechanism that stores task outputs to prevent redundant computation across local and remote environments. It further suppor

Tilt is a Kubernetes development orchestrator and containerized workflow manager that automates the build, deploy, and update loop for cloud-native services. It functions as an infrastructure-as-code environment, defining the entire local development setup as versioned code to synchronize local source changes with cluster deployments. The project distinguishes itself by offering live container updates, which sync files directly into running containers to bypass full image rebuilds and redeployments. It includes a cloud-native development dashboard for monitoring resource health, streaming agg

This project is a framework for developing multimodal AI agents that function as programmable participants in real-time communication rooms. It enables the construction of agents that can see, hear, and speak by integrating speech-to-text, large language models, and text-to-speech pipelines to facilitate low-latency, natural conversations. The system is distinguished by its advanced orchestration of real-time media and conversational flow, including support for full-duplex speech, preemptive response generation, and sophisticated interruption management. It further differentiates itself throu

Spin is a WebAssembly serverless framework and development toolchain for building and running portable microservices. It functions as an event-driven orchestrator and runtime that executes WebAssembly components, allowing developers to map HTTP requests, Redis messages, and cron schedules to specific modules. The project distinguishes itself by implementing a Wasm-based AI inference gateway, enabling components to perform model inference and generate text embeddings. It utilizes the WebAssembly Component Model and WASI for language-agnostic composition and portable host interfacing, while emp

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

DataX Web is a web-based management platform for scheduling, building, executing, and monitoring distributed data synchronization jobs powered by DataX. It provides a visual console for creating and managing DataX tasks without manual JSON configuration, with a distributed executor cluster that auto-registers worker nodes and supports configurable routing and blocking strategies for task distribution. The platform offers cron-based task scheduling with dynamic start, stop, and immediate status changes, along with incremental sync capabilities that pass dynamic parameters to extract only new o

MSBuild هو محرك بناء .NET ونظام لأتمتة بناء البرمجيات يقوم بتحويل الكود المصدري إلى تطبيقات قابلة للنشر. يستخدم نظام مشروع تصريحي يعتمد على مخطط XML منظم لتعريف عناصر البناء والخصائص والأهداف المستخدمة عبر نظام بيئة .NET وVisual Studio. يتميز النظام بإطار عمل مهام بناء قابل للتخصيص يسمح بتنفيذ مهام ومسجلات مخصصة لأداء عمليات بناء برمجيات محددة. تتيح هذه القابلية للتوسع إنشاء منطق متخصص لتعديل سلوك عملية البناء. يدير المحرك أتمتة البناء من خلال نموذج تنفيذ قائم على المهام وتنسيق سير عمل مدرك للتبعية. تغطي إمكانياته تجميع برمجيات .NET، ونشر إطار عمل متعدد الأهداف، وتتبع البناء التزايدي. كما يوفر واجهة سطر أوامر لتجاوزات التهيئة ونظام تسجيل لالتقاط مخرجات البناء.

Mindcraft هو إطار عمل لربط نماذج اللغات الكبيرة بعملاء الألعاب لإنشاء شخصيات مستقلة تتواصل وتؤدي إجراءات داخل بيئة محاكاة. يعمل كمنسق للروبوتات، باستخدام نظام يربط تعليمات الذكاء الاصطناعي عالية المستوى بحزم بروتوكول اللعبة منخفضة المستوى لتمكين تنفيذ المهام داخل اللعبة. يستخدم النظام توليد الاسترجاع المعزز (RAG) لتحديد سجل المحادثة ذي الصلة وأمثلة الكود عبر استرجاع السياق القائم على التضمين. يدعم تطوير شخصيات ذكاء اصطناعي محددة من خلال تكوينات الملف الشخصي ويسهل تنسيق الوكلاء المتعددين، مما يسمح لشخصيات مستقلة متعددة بالتعاون من خلال اللغة الطبيعية ومشاركة الموارد لتحقيق أهداف مشتركة. يتضمن إطار العمل نظام مهام موجه نحو الأهداف يفكك الأهداف المعقدة إلى خطوات إجرائية ويتحقق منها مقابل حالات العالم. يوفر قدرات لتنسيق العالم المتوازي لتشغيل تجارب متزامنة عبر بيئات معزولة، إلى جانب تكامل تحويل النص إلى كلام للسرد الصوتي في الوقت الفعلي لإجراءات الوكيل. يتضمن المشروع أدوات مساعدة لاستيراد ملفات العالم المخصصة ومزامنة ملفات السجل والتكوينات التي تم جمعها إلى التخزين السحابي البعيد.

Sbt هي أداة بناء JVM ونظام إدارة تبعيات مصمم لـ Scala و Java. تعمل كمنسق بناء متعدد المشاريع يدير تجميع الكود المصدري، ويحل المكتبات الخارجية من المستودعات البعيدة، ويحزم الملفات الثنائية للتوزيع. يتميز المشروع بنظام البناء التفاعلي الخاص به، والذي يوفر حلقة قراءة-تقييم-طباعة (REPL) لفحص الحالة في الوقت الفعلي وتنفيذ المهام. يستخدم نموذج تنفيذ قائم على رسم بياني للتبعية لمعالجة المهام ويحتفظ بمخزن مفتاح-قيمة آمن من حيث النوع لتهيئة البناء الديناميكي. تغطي قدراته أتمتة بناء JVM مع إعادة التجميع التزايدي، وتنظيم المشاريع المعيارية، وتنفيذ الاختبارات المؤتمتة. يدعم النظام أيضًا التجميع عبر الإصدارات، ونشر القطع الأثرية إلى التخزين السحابي، ونموذج إضافات قابل للتوسيع لإضافة منطق بناء مخصص.

Azkaban هو مدير سير عمل موزع ومنسق وظائف قائم على DAG مصمم كمعالج دفعات للمؤسسات. يعمل كمحرك سير عمل قائم على Java يقوم بجدولة وتنفيذ تسلسلات وظائف معقدة عبر مجموعة من خوادم التنفيذ، مع وظائف محددة لإدارة أحمال عمل البيانات الضخمة على عناقيد Hadoop. يتميز النظام بنموذج تنفيذ موزع ينسق الحالة عبر قاعدة بيانات مشتركة لضمان التوفر العالي. يستخدم بنية قائمة على الإضافات تسمح بأنواع وظائف مخصصة وامتدادات وظائف النظام، بما في ذلك القدرة على إعادة تحميل الإضافات دون إعادة تشغيل خوادم التنفيذ. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك تنسيق خط أنابيب البيانات مع المنطق الشرطي، والجدولة الدورية والقائمة على الأحداث، ومراقبة المؤسسة مع تتبع SLA. يوفر تحكماً دقيقاً في الوصول وانتحال هوية المستخدم للتنفيذ الآمن، إلى جانب أدوات إدارة حركة المرور لموازنة تحميل التنفيذ وحصص الموارد. يمكن للمستخدمين إدارة سير العمل من خلال واجهة قائمة على الويب أو برمجياً عبر API تنفيذ سير العمل.

OpenSquilla هو إطار عمل لتنسيق وكلاء LLM مصمم لتنسيق سير عمل الذكاء الاصطناعي متعدد الخطوات وتنفيذ الأدوات باستخدام الرسوم البيانية الموجهة غير الدورية (DAGs). يعمل كنظام مركزي لإدارة حزم المهارات المتخصصة وتنفيذ تسلسلات التفكير المعقدة. يتميز المشروع ببوابة توجيه توجه المهام إلى مزودي ذكاء اصطناعي مختلفين بناءً على التعقيد والتكلفة والأداء. يستخدم نظام ذاكرة ذكاء اصطناعي متعدد المستويات ينظم المعرفة العاملة والعرضية والدلالية باستخدام التضمينات المحلية و SQLite، إلى جانب بيئة تنفيذ آمنة تعزل الكود الذي تم إنشاؤه بواسطة الوكيل عبر ملفات تعريف أذونات قائمة على المخاطر. تغطي المنصة مجموعة واسعة من الإمكانيات، بما في ذلك النشر متعدد القنوات على الويب ومنصات المراسلة، وجدولة المهام الآلية عبر cron، وجسر بروتوكول سياق النموذج (Model Context Protocol) للاتصال بالأدوات الخارجية. كما يوفر أدوات مراقبة شاملة لتتبع تكاليف الرموز (Tokens)، وتدقيق قرارات وقت التشغيل، وإدارة كتالوج للمهارات القابلة لإعادة الاستخدام. يتضمن النظام أدوات سطر أوامر لتهيئة مساحة العمل وإدارة دورة حياة المهارات.

Slurm is a cluster workload manager and job scheduler designed for high-performance computing environments. It functions as a distributed compute orchestrator that queues and executes large-scale computational tasks across multiple compute nodes in a cluster. The system acts as a resource arbitrator, distributing hardware nodes and processors among concurrent users to prevent resource conflicts and maximize efficiency. It coordinates the simultaneous launch of multiple processes across different physical servers to execute parallel jobs and scientific workloads. The platform covers broad cap

This project provides a containerized environment for deploying Apache Airflow, enabling the orchestration of complex data pipelines and automated task scheduling. By packaging the orchestration platform into portable images, it ensures consistent execution across diverse infrastructure setups and simplifies the management of runtime dependencies. The platform facilitates distributed task execution by decoupling the scheduler from the execution layer, allowing for horizontal scaling of processing power across multiple worker nodes. It supports dynamic configuration through environment variabl

proxy.py is a lightweight, dependency-free HTTP and reverse proxy framework built in Python that handles network traffic through asynchronous event loops and multi-core connection distribution. It acts as a customizable proxy server and embedded web server, allowing developers to inspect, route, and modify web traffic programmatically or via command-line execution wrappers. The platform provides in-flight TLS interception and traffic decryption using generated root certificates, alongside modular extension hooks that support custom dashboard interfaces, request handling plugins, and REST API

Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse

Lighteval is an open-source framework for running standardized benchmarks and custom evaluation tasks against language models. It provides a system for defining new evaluation tasks with custom prompts, metrics, and scoring in YAML configuration files, and integrates with the Hugging Face Hub for storing and comparing results. The framework supports evaluating models across multiple inference backends, including transformers, vllm, and custom APIs, through a unified generation and log-probability interface. It includes a pluggable metric registry for built-in and custom scoring, a prediction

يوفر هذا المشروع نموذجاً أساسياً لبناء تطبيقات ويب متكاملة (full-stack) تربط واجهات React الأمامية بخدمات GraphQL الخلفية. يعمل كبيئة منظمة للمطورين لتهيئة كل من مكونات العميل والخادم، مما يضمن بنية موحدة للبرمجيات القائمة على البيانات. يؤكد إطار العمل على نهج المخطط أولاً (schema-first) لتصميم واجهة برمجة التطبيقات (API)، مما يسمح بنمذجة بيانات متسقة عبر المكدس بأكمله. يتضمن قوالب مهيأة مسبقاً تدمج المصادقة وقدرات الاشتراك في الوقت الفعلي، إلى جانب برمجيات وسيطة معيارية لإدارة معالجة الطلبات وتحويل البيانات. تؤتمت مجموعة الأدوات سير عمل التطوير الشائعة، بما في ذلك إدارة مخطط قاعدة البيانات، وتنفيذ الخادم المحلي، وهيكلة المشروع. تم تصميم هذه النصوص البرمجية وهياكل الدليل الموحدة لتسريع إعداد الخدمات الجديدة مع الحفاظ على أنماط المجتمع القياسية لجلب البيانات، وتطبيع الحالة المحلية، وتصحيح أخطاء واجهة برمجة التطبيقات.

Screwdriver هي منصة تسليم مستمر مصممة لتنسيق مهام البناء والاختبار والنشر المؤتمتة. تعمل كمنسق بناء محاوٍ يدير دورة حياة التسليم بأكملها، من تشغيل خط الأنابيب القائم على الأحداث إلى تنفيذ المهام داخل بيئات حاويات معزولة وقابلة للتوصيل. تتميز المنصة ببنية معيارية تفصل منطق البناء عن موارد الحوسبة الأساسية، مما يسمح بتنفيذ متسق عبر بنيات تحتية متنوعة. توفر إدارة قوية لتكوين خطوط الأنابيب، مما يتيح للفرق تحديد قوالب البناء القابلة لإعادة الاستخدام وإصدارها ومشاركتها. يتم دعم هذا النظام بشكل أكبر من خلال خدمات هوية شاملة، بما في ذلك تكامل OAuth والتحكم الدقيق في الوصول لأسرار خطوط الأنابيب والرموز البرمجية. بعيداً عن التنسيق الأساسي، توفر المنصة أدوات مراقبة واسعة النطاق، بما في ذلك بث السجلات في الوقت الفعلي، وتحليل مقاييس الأداء، وتتبع حالة البناء. تدعم سير عمل الفريق المعقد من خلال تنظيم مجموعة خطوط الأنابيب ومساحات العمل المشتركة، مع الحفاظ على استقرار النظام عبر تقييد الطلبات وإدارة الحالة المستمرة في قواعد البيانات العلائقية. تم تصميم النظام للنشر داخل مجموعات Kubernetes، باستخدام قوالب تغليف موحدة لتمهيد المنصة ومكونات بنيتها التحتية المطلوبة.