Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron es una plataforma de gestión de Kubernetes y orquestador CI/CD diseñado para unificar los ciclos de vida de las aplicaciones y las operaciones de infraestructura en múltiples clústeres desde una única interfaz. Sirve como un panel centralizado para orquestar cargas de trabajo, gestionar la seguridad y proporcionar observabilidad para entornos de Kubernetes. La plataforma se distingue por un motor de flujo de trabajo sin código para automatizar la construcción de contenedores y pipelines de entrega de software, junto con una herramienta de despliegue GitOps visual para gestionar aplicaciones declarativas y reconciliar la deriva de configuración. Su superficie de capacidad se extiende a la gestión de seguridad mediante el escaneo de vulnerabilidades de imágenes de contenedor y la sincronización de secretos externos, así como la observabilidad a través de un panel que correlaciona métricas, registros y eventos para la depuración. El sistema también maneja tareas de infraestructura como el escalado de carga de trabajo impulsado por eventos, la hibernación de recursos y el control de acceso basado en roles. La plataforma se puede desplegar utilizando un proceso de instalación de arranque que gestiona todos los componentes necesarios y dependencias de terceros.

sqlflow es un motor de aprendizaje automático SQL y orquestador diseñado para entrenar, desplegar y explicar modelos de aprendizaje automático utilizando una sintaxis de consulta SQL extendida. Permite el aprendizaje automático dentro de la base de datos conectando motores de bases de datos a kits de herramientas de aprendizaje automático externos, permitiendo a los usuarios definir conjuntos de datos de entrenamiento e hiperparámetros directamente a través de consultas. El sistema funciona como una interfaz de predicción y herramienta de explicabilidad. Permite generar clasificaciones y predicciones sobre registros de bases de datos llamando a funciones de modelo dentro de sentencias SQL estándar y proporciona un flujo de trabajo para interpretar cómo características específicas influyen en las decisiones del modelo.

Seldon Core es un servidor de modelos de machine learning basado en Kubernetes y un framework de inferencia MLOps. Funciona como un motor de servicio multimodelo y orquestador de pipelines, empaquetando modelos como microservicios escalables que se exponen a través de APIs REST y gRPC estandarizadas. El proyecto se distingue por sus pipelines de inferencia basados en grafos que encadenan modelos y transformadores de datos en flujos de trabajo secuenciales. Optimiza la utilización del hardware mediante el servicio compartido multimodelo y estrategias de sobreasignación dinámica de memoria, mientras admite la experimentación en producción mediante enrutamiento de tráfico ponderado, pruebas A/B y despliegues shadow. El framework cubre una amplia gama de capacidades MLOps, incluyendo escalado automático basado en la demanda, procesamiento asíncrono de solicitudes mediante buses de mensajes y monitoreo integral para la deriva de datos, valores atípicos y explicabilidad de predicciones. También proporciona gestión de infraestructura para la configuración del tiempo de ejecución del modelo y comunicación segura mediante cifrado TLS en los planos de control y datos.

Este proyecto es un motor de flujo de trabajo de aprendizaje automático contenerizado y orquestador diseñado para automatizar el ciclo de vida completo de modelos de aprendizaje automático en clusters de Kubernetes. Funciona como un compilador de pipeline de MLOps que transforma un lenguaje específico de dominio en especificaciones estructuradas para un despliegue portátil y escalable. La plataforma proporciona un entorno multi-inquilino con namespaces aislados y autenticación mediante proveedor de identidad. Se distingue por una combinación de aislamiento de tareas basado en contenedores, gestión de artefactos fuertemente tipados para el paso de datos y caché de resultados direccionable por contenido para evitar cálculos redundantes. El sistema cubre la orquestación integral de flujos de trabajo, incluyendo ejecución de tareas en paralelo, programación de ejecuciones recurrentes y lógica de ramificación condicional. Además, admite el seguimiento de experimentos, la recolección de métricas de flujo de trabajo y la gestión de componentes de pipeline reutilizables, con la capacidad de configurar solicitudes de recursos de hardware específicos para CPU, memoria y GPU. El software se distribuye a través de un SDK de Python y puede desplegarse en entornos independientes, locales o multi-inquilino.

Orchest es un orquestador de tuberías de datos y gestor de flujos de trabajo en contenedores. Proporciona una plataforma para diseñar, programar y ejecutar secuencias complejas de procesamiento de datos a través de una combinación de una interfaz gráfica y scripting. La plataforma se distingue por utilizar contenedores para gestionar las dependencias de software, asegurando una ejecución consistente en diferentes entornos. Cuenta con un programador de tareas políglota capaz de activar trabajos escritos en múltiples lenguajes de programación e incluye un sistema de control de versiones que rastrea instantáneas históricas de configuraciones de proyectos y código. El sistema cubre el diseño visual de flujos de trabajo y el mapeo de dependencias basado en grafos, junto con la programación de tareas activada por tiempo para ejecuciones recurrentes o inmediatas. También admite el despliegue de servicios en segundo plano persistentes que permanecen activos durante la duración de una ejecución de tubería.

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution