Awesome GitHub RepositoriesExternal Compute Integration

Este proyecto es un motor de flujo de trabajo de aprendizaje automático contenerizado y orquestador diseñado para automatizar el ciclo de vida completo de modelos de aprendizaje automático en clusters de Kubernetes. Funciona como un compilador de pipeline de MLOps que transforma un lenguaje específico de dominio en especificaciones estructuradas para un despliegue portátil y escalable. La plataforma proporciona un entorno multi-inquilino con namespaces aislados y autenticación mediante proveedor de identidad. Se distingue por una combinación de aislamiento de tareas basado en contenedores, gestión de artefactos fuertemente tipados para el paso de datos y caché de resultados direccionable por contenido para evitar cálculos redundantes. El sistema cubre la orquestación integral de flujos de trabajo, incluyendo ejecución de tareas en paralelo, programación de ejecuciones recurrentes y lógica de ramificación condicional. Además, admite el seguimiento de experimentos, la recolección de métricas de flujo de trabajo y la gestión de componentes de pipeline reutilizables, con la capacidad de configurar solicitudes de recursos de hardware específicos para CPU, memoria y GPU. El software se distribuye a través de un SDK de Python y puede desplegarse en entornos independientes, locales o multi-inquilino.