1 Repo
Retrieving files from cloud storage buckets using various URI schemes to provide input for command execution.
Distinct from Cloud Storage: Distinct from Cloud Storage: focuses on importing data from cloud storage for processing, not general storage management.
Explore 1 awesome GitHub repository matching devops & infrastructure · Data Imports. Refine with filters or upvote what's useful.
CML ist ein Pipeline-Automatisierungstool zum Trainieren und Evaluieren von Machine-Learning-Modellen und fungiert als CI/CD-System für Machine Learning. Es dient als Cloud-Compute-Orchestrator und Git-basierter Workflow-Manager, der Machine-Learning-Trainingszyklen durch Branch-Management, automatisierte Commits und integriertes Reporting automatisiert. Das Projekt zeichnet sich dadurch aus, dass es ephemere Cloud-Instanzen oder Kubernetes-Nodes bereitstellt, um spezialisierte Hardware für rechenintensive Aufgaben zur Verfügung zu stellen. Es verwaltet zudem Remote-Compute-Runner, was die Anbindung selbstgehosteter GPU-Cluster oder On-Premise-Maschinen zur Ausführung containerisierter Machine-Learning-Workflows ermöglicht. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich ML-Experiment-Tracking, bei dem Leistungsmetriken und Visualisierungen direkt in Pull Requests der Versionsverwaltung gepostet werden. Es handhabt die ML-Pipeline-Automatisierung vom initialen Datenimport und der Versionierung bis hin zur Generierung formatierter Workflow-Berichte und externer Visualisierungslinks. Das Tool bietet zusätzlichen Nutzen für das Infrastruktur-Management durch SSH-basiertes Remote-Debugging und die Möglichkeit, unterbrochene Jobs fortzusetzen.
Provides mechanisms to retrieve datasets and model files from cloud storage buckets for use in compute environments.