Awesome GitHub RepositoriesHyperparameter Optimizers

Skorch est un gestionnaire de workflow de deep learning et une interface de modèle basée sur les tenseurs. Il fournit une API cohérente pour l'entraînement et la prédiction avec des réseaux de neurones au sein de workflows de machine learning standard, agissant comme un optimiseur d'hyperparamètres pour trouver les configurations de réseau optimales. La bibliothèque se spécialise dans l'enveloppement des réseaux de neurones PyTorch dans une interface compatible avec scikit-learn. Cela permet aux modèles basés sur des tenseurs d'être utilisés au sein de pipelines de machine learning traditionnels et d'outils de recherche par grille, incluant le mapping de grilles de paramètres aux configurations de modèle. Le framework couvre la gestion du cycle de vie de l'entraînement via l'arrêt précoce, le checkpointing et les planificateurs de taux d'apprentissage. Il inclut également des capacités pour le contrôle des paramètres du modèle via le gel de couches, la traduction automatique entre tenseurs et tableaux NumPy, et le monitoring de la progression de l'entraînement en temps réel.

Skorch est une bibliothèque qui enveloppe les réseaux de neurones PyTorch dans une interface compatible avec scikit-learn, permettant d'utiliser des modèles de deep learning au sein de pipelines de machine learning standard et d'outils d'optimisation d'hyperparamètres. Il fonctionne comme un adaptateur de données, un gestionnaire d'entraînement et un outil d'optimisation qui comble le fossé entre les modules de deep learning et les workflows de machine learning conventionnels. Le projet se distingue en fournissant une boîte à outils pour automatiser le cycle de vie de l'entraînement PyTorch, incluant le checkpointing intégré, l'arrêt précoce (early stopping) et la planification du taux d'apprentissage. Il permet en outre le transfert learning via des utilitaires pour geler des couches de modèle spécifiques et affiner des poids pré-entraînés pour des tâches spécialisées. La surface de capacité s'étend à la transformation des données, incluant la conversion de données tabulaires et de tableaux numériques en formats de tenseurs et l'enregistrement de tokenizers de texte. Il fournit également des outils pour la sélection de l'accélération matérielle, la compilation de modules juste-à-temps (JIT) et la modélisation de données probabilistes pour la quantification de l'incertitude. Le système inclut des utilitaires pour mapper les hyperparamètres aux arguments de ligne de commande afin d'assurer la reproductibilité des expériences.

PufferLib is a reinforcement learning framework built around high-speed environment simulation and automatic hyperparameter optimization. It is designed to accelerate the entire RL training pipeline by running simulations at near-native speed and enabling the training of tiny models to super-human performance within seconds. The framework achieves its speed through a single-process training loop that eliminates inter-process communication overhead, vectorized batched simulation for parallel environment execution, and compiled C extensions that offload performance-critical computations. It als

Cube Studio est une plateforme MLOps cloud-native et un orchestrateur d'IA basé sur Kubernetes, conçu pour l'ensemble du cycle de vie du machine learning. Il fournit un framework d'entraînement distribué pour le fine-tuning de modèles à grande échelle, un gestionnaire de ressources GPU pour la virtualisation matérielle, et un orchestrateur de pipelines ML qui utilise des graphes orientés acycliques visuels pour gérer les workflows de bout en bout. La plateforme se distingue par son serveur d'inférence LLM spécialisé, qui prend en charge la génération augmentée par récupération (RAG) et la construction de bases de connaissances privées. Elle dispose d'un système dédié au fine-tuning supervisé et à l'apprentissage par renforcement des grands modèles de langage, complété par des outils de recherche d'hyperparamètres visuels. Le système couvre un large éventail de capacités opérationnelles, incluant l'étiquetage de données multimodales, les pipelines de données distribués et la planification de charges de travail multi-cluster. Il fournit également des environnements de développement interactifs par navigateur, la gestion d'images de conteneurs et un registre de modèles pour le versioning et le déploiement d'API d'inférence scalables avec répartition de trafic. L'infrastructure inclut une surveillance de la santé des clusters intégrée et un contrôle d'accès basé sur les rôles (RBAC) avec intégration SSO.

PyTorch Forecasting is a deep learning framework designed for building and training neural network architectures specifically for time series forecasting. It serves as a comprehensive toolkit for implementing autoregressive models, multi-horizon forecasting, and probabilistic prediction intervals using PyTorch tensors. The library distinguishes itself through a probabilistic forecasting toolkit that generates prediction intervals and quantile forecasts using both parametric and non-parametric distributions. It further provides a neural network model optimizer for automated hyperparameter tuni

FLAML est un framework d'apprentissage automatique automatisé, un outil d'optimisation d'hyperparamètres et un orchestrateur d'agents de grands modèles de langage. Il fournit un système pour la sélection et le réglage des modèles à travers divers apprenants et jeux de données, tout en offrant une boîte à outils pour optimiser les paramètres d'inférence et les paramètres de réglage fin des grands modèles de langage. Le projet dispose d'un système de réglage par méta-apprentissage qui analyse les données de tâches historiques pour générer des configurations par défaut dépendantes des données, accélérant la convergence du modèle. Il permet en outre la conception de systèmes multi-agents collaboratifs via des flux de travail conversationnels et une orchestration pilotée par événements. Les capacités couvrent la recherche d'hyperparamètres efficace en ressources pour les modèles d'apprentissage automatique et les fonctions Python arbitraires, prenant en charge les espaces de recherche hiérarchiques et l'optimisation objective lexicographique. Le framework inclut également des utilitaires pour la sélection automatique de modèles, la construction d'ensembles empilés, la configuration zero-shot et l'application de contraintes d'équité. Le système prend en charge la mise à l'échelle du réglage distribué et l'exécution simultanée d'essais à travers des clusters de calcul pour réduire la durée totale de recherche.

fast-reid est un framework de vision par ordinateur basé sur PyTorch conçu pour construire, entraîner et déployer des modèles de deep learning pour des tâches de vision basées sur l'identité. Il fournit une boîte à outils spécialisée pour la ré-identification de personnes et de véhicules, permettant la correspondance d'individus et de véhicules à travers des vues de caméra non chevauchantes. Le projet inclut des outils pour la reconnaissance d'attributs de personnes afin d'identifier des caractéristiques et des traits physiques spécifiques. Il dispose d'un zoo de modèles modulaire qui permet l'échange et le benchmarking de différentes architectures de ré-identification. Le framework couvre une infrastructure de développement à grande échelle, incluant l'entraînement distribué sur plusieurs GPU, l'entraînement en précision mixte et la distillation de connaissances pour transférer des représentations de réseaux complexes vers des modèles étudiants plus petits. Il fournit également une boucle d'optimisation des hyperparamètres, un moteur d'évaluation multi-dataset et des pipelines pour exporter des modèles vers des formats standards de l'industrie pour le déploiement en production.

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu

This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov