7 dépôts
Interfaces for customizing worker and scheduler implementations to support specialized task queuing or parameter injection.
Distinct from Custom Parallel Task Execution: Distinct from custom parallel task execution: focuses on overriding core engine logic rather than workload decomposition.
Explore 7 awesome GitHub repositories matching development tools & productivity · Execution Logic Overrides. Refine with filters or upvote what's useful.
Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t
Supports overriding default worker and scheduler implementations for specialized requirements.
Optuna is a Python-based hyperparameter optimization framework designed to automate the search for optimal machine learning model configurations. It functions as a Bayesian optimization library that systematically tests parameter combinations to maximize or minimize objective functions, streamlining the model development process through iterative evaluation. The project distinguishes itself through a define-by-run dynamic construction model, which allows users to build complex, conditional search spaces using standard programming logic. Its architecture is highly modular, featuring a pluggabl
Allows implementation of user-defined sampling strategies and pruning rules to tailor the search process.
Dask est un framework de calcul parallèle et un planificateur de tâches distribué conçu pour mettre à l'échelle les flux de travail de science des données Python, des machines uniques aux grands clusters. Il fonctionne comme un gestionnaire de ressources de cluster qui orchestre la logique computationnelle en représentant les tâches et leurs dépendances sous forme de graphes acycliques dirigés. Cette architecture permet au système d'automatiser la distribution des charges de travail sur le matériel disponible tout en gérant des exigences d'exécution complexes. Le projet se distingue par un moteur d'évaluation paresseuse qui diffère les opérations sur les données jusqu'à ce qu'elles soient explicitement demandées, permettant une optimisation globale du graphe et une allocation efficace des ressources. Il intègre le déversement de données conscient de la mémoire pour éviter les plantages du système lors du traitement de jeux de données dépassant la mémoire disponible, et il utilise la fusion de graphes de tâches pour combiner des séquences d'opérations en étapes d'exécution uniques, minimisant la surcharge de planification et la communication entre nœuds. La plateforme fournit une surface de capacités complète pour l'analyse de données à grande échelle, incluant le support pour l'apprentissage automatique distribué, l'intégration du calcul haute performance et le traitement de données parallèle. Elle offre des outils étendus pour la gestion du cycle de vie des clusters, le profilage des performances et la surveillance en temps réel de l'exécution des tâches. Les utilisateurs peuvent déployer ces environnements sur diverses infrastructures, incluant le matériel local, les fournisseurs cloud, les systèmes conteneurisés et les clusters de calcul haute performance.
Allows overriding default graph transformation logic with user-defined functions to tailor performance tuning for specific application requirements.
Hardhat is a smart contract development framework and EVM tooling suite designed for the full lifecycle of Ethereum and EVM-compatible applications. It serves as a development environment for compiling, testing, and deploying smart contracts, providing a local blockchain simulation and a programmable task runner. The framework is distinguished by its extensive simulation capabilities, including the ability to fork remote network state and manipulate block time or account balances. It features a hook-based plugin system that allows for the extension of core functionality and the creation of cu
Injects custom behavior into workflows by registering handlers that can modify arguments or block execution.
BAML is a prompt engineering framework and LLM client generator that defines AI prompts as type-safe functions. It serves as a structured data extraction tool and workflow orchestrator, transforming unstructured model responses into strongly typed objects using a custom schema language and alignment algorithms. The project distinguishes itself by using a compiler to generate language-specific boilerplate code for API communication and output parsing. It features a dedicated environment for designing complex prompt templates with conditional logic and reusable snippets, and employs genetic alg
Modifies the internal functions used to propose prompt improvements or analyze failure patterns during optimization.
express-graphql est une implémentation de serveur API GraphQL et un middleware HTTP qui connecte un schéma GraphQL à un serveur HTTP. Il fournit un analyseur de requêtes pour extraire les requêtes et variables depuis divers types de contenu, ainsi qu'un fournisseur de contexte pour injecter les données de requête HTTP et l'état de session dans les fonctions de résolution (resolvers). La bibliothèque inclut un IDE interactif basé sur le navigateur qui détecte les requêtes GET pour servir une interface HTML permettant de tester les requêtes et d'inspecter les réponses. Elle prend également en charge un pipeline d'exécution personnalisé, permettant de remplacer les fonctions par défaut d'analyse, de validation, d'exécution et de formatage d'erreurs. Le projet couvre l'intégration d'API via middleware et l'analyse des paramètres de requête, ainsi qu'une architecture pour la validation de requêtes basée sur l'AST et l'exécution basée sur le schéma. Il fournit en outre des mécanismes pour l'extension des métadonnées de réponse et l'application de règles de validation pour restreindre des champs ou opérations spécifiques.
Allows overriding default parsing, validation, execution, and error formatting functions with custom logic.
ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented
Swaps specific inputs or checkpoint outputs during a replay to isolate the impact of changes against a baseline execution.