Awesome GitHub RepositoriesExperiment Batch Execution

Ce projet est un boilerplate d'expérience de machine learning standardisé et un modèle de projet qui combine PyTorch Lightning avec le framework de configuration Hydra. Il fournit une base de code structurée pour organiser les flux de travail de deep learning, spécifiquement conçue pour intégrer la gestion de configuration hiérarchique avec l'entraînement distribué. Le modèle propose un flux de travail spécialisé pour l'optimisation des hyperparamètres et l'exécution d'expériences par lots, permettant des balayages de paramètres automatisés sans modifier le code source. Il emploie un système hiérarchique pour gérer les paramètres via des fichiers YAML et des remplacements en ligne de commande pour assurer des résultats reproductibles à travers différentes exécutions d'expériences. Le projet couvre de larges domaines de capacités, incluant l'entraînement de deep learning distribué sur plusieurs accélérateurs matériels, l'encapsulation de pipeline de données et la journalisation d'expériences multi-backend. Il intègre également l'automatisation de la qualité du code via des hooks pre-commit, des linters et des formateurs, ainsi que des outils pour la gestion et l'évaluation des points de contrôle (checkpoints) de modèles.

Sacred est un outil de gestion d'expériences et un framework de reproductibilité conçu pour organiser plusieurs exécutions d'un processus avec des configurations différentes. Il fonctionne comme un tracker d'expériences d'apprentissage automatique et un gestionnaire de configuration d'hyperparamètres, enregistrant les hyperparamètres, les métriques et les métadonnées dans une base de données pour garantir que les exécutions expérimentales restent traçables. Le projet se concentre sur la reproductibilité des résultats scientifiques en gérant automatiquement les graines aléatoires et en suivant les dépendances système. Il permet l'exécution de variantes d'expériences via des remplacements de paramètres en ligne de commande et l'injection dynamique de paramètres, permettant la modification des paramètres sans altérer le code source sous-jacent. Le framework fournit des capacités pour l'enregistrement de métadonnées sauvegardé en base de données, capturant les détails matériels et les versions logicielles pour maintenir un enregistrement interrogeable de chaque exécution. Il prend également en charge la sérialisation de l'état d'exécution pour permettre la réplication exacte des résultats expérimentaux.