Awesome GitHub RepositoriesExperiment Batch Execution

Dieses Projekt ist ein standardisiertes Boilerplate für Machine-Learning-Experimente und ein Projekt-Template, das PyTorch Lightning mit dem Hydra-Konfigurations-Framework kombiniert. Es bietet eine strukturierte Codebasis zur Organisation von Deep-Learning-Workflows, die speziell darauf ausgelegt ist, hierarchisches Konfigurationsmanagement mit verteiltem Training zu integrieren. Das Template bietet einen spezialisierten Workflow für Hyperparameter-Optimierung und Batch-Experiment-Ausführung, was automatisierte Parameter-Sweeps ohne Änderung des Quellcodes ermöglicht. Es verwendet ein hierarchisches System zur Verwaltung von Einstellungen über YAML-Dateien und Kommandozeilen-Overrides, um reproduzierbare Ergebnisse über verschiedene Experimentläufe hinweg sicherzustellen. Das Projekt deckt breite Funktionsbereiche ab, einschließlich verteiltem Deep-Learning-Training über mehrere Hardware-Beschleuniger, Kapselung von Datenpipelines und Multi-Backend-Experiment-Logging. Es integriert zudem Code-Qualitätsautomatisierung durch Pre-Commit-Hooks, Linter und Formatierer, neben Tools für das Management und die Evaluierung von Modell-Checkpoints.

Sacred ist ein Experiment-Management-Tool und Reproduzierbarkeits-Framework, das entwickelt wurde, um mehrere Durchläufe eines Prozesses mit unterschiedlichen Konfigurationen zu organisieren. Es fungiert als Machine-Learning-Experiment-Tracker und Hyperparameter-Konfigurationsmanager, der Hyperparameter, Metriken und Metadaten in einer Datenbank protokolliert, um sicherzustellen, dass experimentelle Ausführungen nachvollziehbar bleiben. Das Projekt konzentriert sich auf die Reproduzierbarkeit wissenschaftlicher Ergebnisse, indem es automatisch Zufallszahlen-Seeds verwaltet und Systemabhängigkeiten nachverfolgt. Es ermöglicht die Ausführung von Experimentvarianten durch Parameter-Overrides in der Befehlszeile und dynamische Parameterinjektion, was die Änderung von Einstellungen ohne Änderung des zugrunde liegenden Quellcodes ermöglicht. Das Framework bietet Funktionen für datenbankgestützte Metadatenprotokollierung, wobei Hardware-Details und Softwareversionen erfasst werden, um einen durchsuchbaren Datensatz jedes Durchlaufs zu führen. Es unterstützt zudem die Serialisierung des Ausführungszustands, um die exakte Replikation experimenteller Ergebnisse zu ermöglichen.