Awesome GitHub RepositoriesBatch Workload Execution

Kubernetes is a distributed container orchestration platform that automates the deployment, scaling, and management of containerized applications across clusters of computing nodes. It functions as a declarative infrastructure controller, utilizing a control loop architecture that continuously monitors the current system state against user-defined configurations to ensure desired operational outcomes. The system relies on a centralized API-driven interface and a replicated key-value store to maintain a consistent source of truth for all cluster objects. The platform distinguishes itself throu

Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep

Claude Quickstarts is a development framework and collection of reference implementations designed for building autonomous agents. It provides the foundational patterns necessary to orchestrate multi-agent workflows, enabling models to perform complex, multi-step tasks across software engineering, customer support, and computer-use domains. The platform distinguishes itself through specialized capabilities for desktop and browser automation, allowing agents to interact with graphical interfaces by capturing visual context and executing precise mouse and keyboard inputs. It includes robust inf

Dask هو إطار عمل للحوسبة المتوازية وجدول مهام موزع مصمم لتوسيع نطاق سير عمل علوم البيانات في Python من أجهزة فردية إلى مجموعات (clusters) كبيرة. يعمل كمدير موارد للمجموعة يقوم بتنسيق المنطق الحسابي من خلال تمثيل المهام وتبعياتها كرسوم بيانية موجهة غير دورية. تسمح هذه البنية للنظام بأتمتة توزيع أعباء العمل عبر الأجهزة المتاحة مع إدارة متطلبات التنفيذ المعقدة. يتميز المشروع بمحرك تقييم كسول يؤجل عمليات البيانات حتى يتم طلبها صراحة، مما يتيح تحسين الرسم البياني العالمي وتخصيص الموارد بكفاءة. يتضمن خاصية تسريب البيانات الواعية بالذاكرة لمنع تعطل النظام عند معالجة مجموعات البيانات التي تتجاوز الذاكرة المتاحة، ويستخدم دمج الرسم البياني للمهام لدمج تسلسلات العمليات في خطوات تنفيذ واحدة، مما يقلل من عبء الجدولة والاتصال بين العقد. توفر المنصة سطح قدرات شاملاً لتحليلات البيانات واسعة النطاق، بما في ذلك دعم التعلم الآلي الموزع، وتكامل الحوسبة عالية الأداء، ومعالجة البيانات المتوازية. توفر أدوات واسعة النطاق لإدارة دورة حياة المجموعة، وتوصيف الأداء، والمراقبة في الوقت الفعلي لتنفيذ المهام. يمكن للمستخدمين نشر هذه البيئات عبر بنية تحتية متنوعة، بما في ذلك الأجهزة المحلية، ومزودي السحابة، والأنظمة الحاوية، ومجموعات الحوسبة عالية الأداء.

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

Boto3 is the AWS SDK for Python, providing a programmatic interface for managing and automating AWS cloud infrastructure and services. It serves as a cloud management API client and resource manager for provisioning, configuring, and scaling virtual servers, databases, and storage. The library enables the implementation of infrastructure-as-code through declarative templates and scripts, allowing for the deployment of identical resource stacks across multiple accounts and geographic regions. It also provides a framework for coordinating distributed workflows, serverless functions, and contain

UFO is a multi-device task orchestrator and LLM agent orchestration framework designed to decompose natural language requests into executable task graphs. It functions as a cross-platform UI automation tool capable of performing interactions on Windows and mobile devices while routing tasks to distributed agents based on their hardware and software capabilities. The system is distinguished by its RAG-enhanced agent architecture, which integrates external documentation and previous execution traces to improve decision-making. It employs a hybrid UI detection approach that combines computer vis

TechEmpower FrameworkBenchmarks is an open-source project that provides a standardized, reproducible suite for measuring and comparing the performance of web frameworks across many languages. At its core, it defines a set of common server-side tasks—such as JSON serialization, database queries, and server-side template rendering—and executes them uniformly against hundreds of framework implementations to produce comparable throughput and latency metrics. The project is built around a multi-language benchmark harness that automates the full test lifecycle, from dependency installation and serve

This is a scikit-learn automated machine learning framework designed to optimize model selection and hyperparameters. It functions as an automated model selector and hyperparameter optimization tool for classification and regression tasks, utilizing an automated ensemble builder to combine high-performing models for increased predictive accuracy. The system features a distributed search engine that uses Dask for parallel machine learning optimization across CPU cores or clusters. It implements a budget-based evaluation strategy through successive halving to prioritize promising model configur

ToyDB is a distributed SQL database that provides a system for storing and querying data across multiple nodes. It focuses on maintaining strong consistency and fault tolerance through the implementation of a distributed consensus algorithm. The project distinguishes itself by supporting historical data versioning, enabling time-travel queries to retrieve the state of the database from a specific point in the past. It utilizes multi-version concurrency control to manage ACID transactions and ensure data integrity during concurrent operations. The system covers relational data modeling with t

OpenWhisk is a serverless cloud platform designed for deploying and executing stateless functions in response to API calls or events. It serves as a complete serverless stack, providing an API gateway for functions, a function-as-a-service runtime manager, and an event-driven workflow engine. The platform distinguishes itself through a polyglot execution model that supports multiple language runtimes and allows for the creation of custom runtimes using Docker containers. It enables complex logic through function orchestration and composition, allowing multiple functions to be chained into seq

sysbench is a database and system benchmark tool used to measure the throughput and latency of database systems and hardware components. It functions as a multi-threaded workload generator and hardware performance profiler designed to determine how systems perform under heavy load. The project serves as a scriptable benchmark engine, allowing for the definition of custom performance scenarios through scripts. It simulates real-world traffic patterns by generating random data based on mathematical probability distributions, such as Zipfian, Gaussian, or Pareto. Capabilities cover database per

StackStorm is an event-driven automation platform that watches for events from external systems and triggers workflows, actions, and remediation across infrastructure tools. At its core, it provides a workflow orchestration engine that chains multiple actions and conditional logic into reusable, multi-step workflows for complex automation tasks, alongside a rules engine that applies matching criteria to triggers and maps trigger payload data to action inputs for automated responses. The platform distinguishes itself through a ChatOps integration framework that enables executing commands and r

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

This project provides strategic roadmaps and guides detailing the evolution and deployment patterns of managed container orchestration and security services. It serves as a public tracking document for upcoming features and development priorities for EKS, ECS, ECR, and Fargate. The resource includes a cloud container orchestration guide and a Kubernetes and ECS strategy, outlining the development of managed Kubernetes and proprietary orchestration services for cloud infrastructure. It also provides a security and monitoring plan focused on scanning malicious activity and tracking workload hea

هذا المشروع هو موقع التوثيق الرسمي لـ Kubernetes، ويعمل كمورد تقني شامل لإدارة التطبيقات المعبأة. يعمل كبوابة توثيق تقنية مفتوحة المصدر توفر أدلة، ودروسًا تعليمية، ومواد مرجعية لبرمجيات الأنظمة الموزعة. تم بناء الموقع باستخدام مولد مواقع ثابت مع بنية قالب قائمة على المكونات للحفاظ على أنماط تصميم متسقة. ويتميز بمولد توثيق OpenAPI الذي يحلل المواصفات التقنية لبناء وتحديث صفحات مرجع واجهة برمجة التطبيقات المهيكلة تلقائيًا. لدعم جمهور عالمي، يستخدم توجيه المحتوى الواعي بالتدويل لإدارة الإصدارات المترجمة من الأدلة. يتضمن سير عمل التطوير خادم إعادة تحميل ساخن لمعاينة تغييرات الموقع وعرض اللغة المستهدف لتسريع أوقات البناء. يغطي المشروع مجموعة واسعة من المجالات التقنية، بما في ذلك تنسيق العناقيد، وتهيئة الشبكة، وإدارة الموارد.

Baserow هو قاعدة بيانات علائقية ومنشئ تطبيقات بدون كود يسمح للمستخدمين بإنشاء جداول بيانات مهيكلة وأدوات أعمال من خلال واجهة مرئية. يعمل كواجهة خلفية لبيانات REST API بدون رأس ومساحة عمل بيانات ذاتية الاستضافة، مما يوفر منصة لإدارة قواعد البيانات التعاونية مع الحفاظ على السيطرة الكاملة على إقامة البيانات. تدمج المنصة نماذج لغوية كبيرة لتعمل كمنصة بيانات مدعومة بـ LLM، قادرة على إنشاء هياكل قواعد البيانات، ومحتوى السجلات، وسير العمل التقني من اللغة الطبيعية. كما تعمل كخادم بروتوكول سياق النموذج (Model Context Protocol)، مما يتيح لوكلاء الذكاء الاصطناعي البعيدين التفاعل مع سجلات قاعدة البيانات المهيكلة برمجياً. إلى جانب إمكانات قاعدة البيانات الأساسية، يوفر المشروع أدوات لبناء بوابات خارجية ذات علامة تجارية، وتطبيقات أعمال داخلية، ولوحات تحكم تفاعلية. يتضمن محرك أتمتة يعتمد على الأحداث لأتمتة عمليات الأعمال ويدعم مجموعة واسعة من تكاملات API، بما في ذلك خطافات الويب، وبث أحداث WebSocket، ومزامنة بيانات الطرف الثالث. تم تصميم البرنامج للاستضافة على البنية التحتية الخاصة والنشر بالحاويات لضمان سيادة البيانات وأمنها.

OnmyojiAutoScript هو أداة أتمتة لألعاب Android تعتمد على ADB وتستخدم التعرف على الصور لأتمتة الروتين اليومي وتجميع الموارد. يعمل كبوت للرؤية الحاسوبية ومتحكم في المحاكي، حيث ينسق تنفيذ المهام المتزامنة عبر ملفات تعريف ومنافذ مستخدم متعددة. يتميز النظام بمحسن لموارد اللعبة يستخدم نماذج الكفاءة لتوزيع العناصر والأصول داخل اللعبة بذكاء بين الشخصيات. ولتجاوز الكشف المؤتمت، يستخدم محاكي إدخال مضاد للكشف يحاكي أنماط التفاعل البشري من خلال سلوكيات النقر والسحب المتغيرة. يغطي البرنامج نطاقاً واسعاً من منطق الأتمتة، بما في ذلك التنفيذ القائم على الأحداث، وتحديد أولويات الإجراءات المستهدفة، وجدولة تسلسل المهام. وتمتد قدراته التشغيلية إلى أتمتة تدوير الشخصيات، وتجميع الموارد في الأبراج المحصنة، والأهداف الأسبوعية، والتنسيق القائم على النقابات. يتم دعم المراقبة والصيانة من خلال تصدير سجلات التشخيص، واكتشاف توقف السكريبت، وواجهة رسومية لإدارة أصول المهام ومعلمات التعرف على الصور.

P4wnP1_aloa هو إطار عمل أمان فيزيائي مصمم لتحويل Raspberry Pi إلى جهاز مخصص للفريق الأحمر واختبار الاختراق. يعمل كأداة محاكاة لأداة USB، وأداة انتحال شبكة لاسلكية، ووحدة تحكم في أتمتة GPIO. يمكن النظام من محاكاة الأجهزة الطرفية المركبة لـ USB، مثل لوحات المفاتيح، والفئران، وأجهزة التخزين، دون الحاجة إلى إعادة التشغيل. كما يوفر قدرات لبث منارات نقطة الوصول المزيفة والاستجابات المنتحلة لمحاكاة بيئات شبكة لاسلكية متنوعة. يتضمن إطار العمل واجهة إدارة عن بُعد يمكن الوصول إليها عبر تطبيق ويب وواجهة سطر أوامر. يتميز بنظام تشغيل قائم على الأحداث لتنفيذ النصوص البرمجية بناءً على تغييرات حالة الأجهزة ومدخلات GPIO، بالإضافة إلى نظام تكوين قائم على القالب لإدارة إعدادات النظام الفرعي. يوفر المشروع أدوات لأتمتة الإدخال، وتكوين واجهة الشبكة، وإنشاء واجهات شبكة تعتمد على Bluetooth للوصول عن بُعد.

IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis