7 repository-uri
Interfaces for customizing worker and scheduler implementations to support specialized task queuing or parameter injection.
Distinct from Custom Parallel Task Execution: Distinct from custom parallel task execution: focuses on overriding core engine logic rather than workload decomposition.
Explore 7 awesome GitHub repositories matching development tools & productivity · Execution Logic Overrides. Refine with filters or upvote what's useful.
Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t
Supports overriding default worker and scheduler implementations for specialized requirements.
Optuna is a Python-based hyperparameter optimization framework designed to automate the search for optimal machine learning model configurations. It functions as a Bayesian optimization library that systematically tests parameter combinations to maximize or minimize objective functions, streamlining the model development process through iterative evaluation. The project distinguishes itself through a define-by-run dynamic construction model, which allows users to build complex, conditional search spaces using standard programming logic. Its architecture is highly modular, featuring a pluggabl
Allows implementation of user-defined sampling strategies and pruning rules to tailor the search process.
Dask este un framework de calcul paralel și un scheduler de sarcini distribuit conceput pentru a scala fluxurile de lucru de știința datelor în Python de la mașini individuale la clustere mari. Acesta funcționează ca un manager de resurse de cluster care orchestrează logica computațională prin reprezentarea sarcinilor și a dependențelor acestora sub formă de grafuri aciclice direcționate. Această arhitectură permite sistemului să automatizeze distribuția sarcinilor de lucru pe hardware-ul disponibil, gestionând în același timp cerințe complexe de execuție. Proiectul se distinge printr-un motor de evaluare leneșă (lazy) care amână operațiunile pe date până când sunt solicitate explicit, permițând optimizarea globală a grafului și alocarea eficientă a resurselor. Acesta încorporează „spilling” de date conștient de memorie pentru a preveni blocarea sistemului la procesarea seturilor de date care depășesc memoria disponibilă și utilizează fuziunea grafului de sarcini pentru a combina secvențe de operațiuni în pași de execuție unici, minimizând overhead-ul de programare și comunicarea între noduri. Platforma oferă o suprafață cuprinzătoare de capabilități pentru analiza datelor la scară largă, inclusiv suport pentru învățare automată distribuită, integrare cu calcul de înaltă performanță și procesare paralelă a datelor. Oferă instrumente extinse pentru gestionarea ciclului de viață al clusterului, profilarea performanței și monitorizarea în timp real a execuției sarcinilor. Utilizatorii pot implementa aceste medii pe diverse infrastructuri, inclusiv hardware local, furnizori de cloud, sisteme containerizate și clustere de calcul de înaltă performanță.
Allows overriding default graph transformation logic with user-defined functions to tailor performance tuning for specific application requirements.
Hardhat is a smart contract development framework and EVM tooling suite designed for the full lifecycle of Ethereum and EVM-compatible applications. It serves as a development environment for compiling, testing, and deploying smart contracts, providing a local blockchain simulation and a programmable task runner. The framework is distinguished by its extensive simulation capabilities, including the ability to fork remote network state and manipulate block time or account balances. It features a hook-based plugin system that allows for the extension of core functionality and the creation of cu
Injects custom behavior into workflows by registering handlers that can modify arguments or block execution.
BAML is a prompt engineering framework and LLM client generator that defines AI prompts as type-safe functions. It serves as a structured data extraction tool and workflow orchestrator, transforming unstructured model responses into strongly typed objects using a custom schema language and alignment algorithms. The project distinguishes itself by using a compiler to generate language-specific boilerplate code for API communication and output parsing. It features a dedicated environment for designing complex prompt templates with conditional logic and reusable snippets, and employs genetic alg
Modifies the internal functions used to propose prompt improvements or analyze failure patterns during optimization.
express-graphql este o implementare de server API GraphQL și middleware HTTP care conectează o schemă GraphQL la un server HTTP. Acesta oferă un parser de cereri pentru a extrage interogări și variabile din diverse tipuri de conținut și un furnizor de context pentru a injecta datele cererii HTTP și starea sesiunii în funcțiile resolver. Biblioteca include un IDE interactiv bazat pe browser care detectează cererile GET pentru a servi o interfață HTML pentru testarea interogărilor și inspectarea răspunsurilor. De asemenea, suportă un pipeline de execuție personalizat, permițând suprascrierea funcțiilor implicite de parsare, validare, execuție și formatare a erorilor. Proiectul acoperă integrarea API prin middleware și parsarea parametrilor cererii, alături de o arhitectură pentru validarea interogărilor bazată pe AST și execuția bazată pe schemă. Mai mult, oferă mecanisme pentru extinderea metadatelor de răspuns și aplicarea regulilor de validare pentru a restricționa anumite câmpuri sau operațiuni.
Allows overriding default parsing, validation, execution, and error formatting functions with custom logic.
ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented
Swaps specific inputs or checkpoint outputs during a replay to isolate the impact of changes against a baseline execution.