Awesome GitHub RepositoriesExternal Compute Integration

Dieses Projekt ist eine containerisierte Machine-Learning-Workflow-Engine und ein Orchestrator, der darauf ausgelegt ist, den End-to-End-Lebenszyklus von Machine-Learning-Modellen auf Kubernetes-Clustern zu automatisieren. Es fungiert als MLOps-Pipeline-Compiler, der eine domänenspezifische Sprache in strukturierte Spezifikationen für eine portable und skalierbare Bereitstellung umwandelt. Die Plattform bietet eine Multi-Tenant-Umgebung mit isolierten Namespaces und Identitätsanbieter-Authentifizierung. Sie zeichnet sich durch eine Kombination aus containerbasierter Aufgabenisolierung, stark typisiertem Artefaktmanagement für die Datenübergabe und inhaltsadressierbarem Ergebnis-Caching aus, um redundante Berechnungen zu vermeiden. Das System deckt eine umfassende Workflow-Orchestrierung ab, einschließlich paralleler Aufgabenausführung, wiederkehrender Laufplanung und bedingter Verzweigungslogik. Es unterstützt zudem Experiment-Tracking, Workflow-Metrikerfassung und das Management wiederverwendbarer Pipeline-Komponenten, mit der Möglichkeit, spezifische Hardware-Ressourcenanforderungen für CPU, Speicher und GPU zu konfigurieren. Die Software wird über ein Python-SDK vertrieben und kann in eigenständigen, lokalen oder Multi-Tenant-Umgebungen bereitgestellt werden.