Awesome GitHub RepositoriesExperiment Batch Execution

Acest proiect este un boilerplate standardizat pentru experimente de machine learning și un template de proiect care combină PyTorch Lightning cu framework-ul de configurare Hydra. Oferă un codebase structurat pentru organizarea fluxurilor de lucru de deep learning, conceput special pentru a integra gestionarea ierarhică a configurațiilor cu antrenarea distribuită. Template-ul dispune de un flux de lucru specializat pentru optimizarea hiperparametrilor și execuția experimentelor în loturi (batch), permițând scanări automate ale parametrilor fără a modifica codul sursă. Utilizează un sistem ierarhic pentru gestionarea setărilor prin fișiere YAML și override-uri din linia de comandă pentru a asigura rezultate reproductibile în diferite rulări ale experimentelor. Proiectul acoperă arii largi de capabilități, inclusiv antrenarea distribuită de deep learning pe mai multe acceleratoare hardware, încapsularea pipeline-ului de date și logarea experimentelor multi-backend. De asemenea, integrează automatizarea calității codului prin pre-commit hooks, lintere și formattatoare, alături de instrumente pentru gestionarea checkpoint-urilor modelelor și evaluare.

Sacred este un instrument de gestionare a experimentelor și un framework de reproductibilitate conceput pentru a organiza mai multe rulări ale unui proces cu configurații diferite. Acesta funcționează ca un tracker de experimente de învățare automată și manager de configurare a hiperparametrilor, înregistrând hiperparametrii, metricile și metadatele într-o bază de date pentru a se asigura că execuțiile experimentale rămân urmăribile. Proiectul se concentrează pe reproductibilitatea rezultatelor științifice prin gestionarea automată a semințelor aleatorii și urmărirea dependențelor de sistem. Permite execuția variantelor de experiment prin suprascrieri de parametri din linia de comandă și injectarea dinamică a parametrilor, permițând modificarea setărilor fără a altera codul sursă subiacent. Framework-ul oferă capabilități pentru logarea metadatelor în baza de date, capturând detalii hardware și versiuni software pentru a menține o înregistrare căutabilă a fiecărei rulări. De asemenea, suportă serializarea stării de execuție pentru a permite replicarea exactă a rezultatelor experimentale.