Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron est une plateforme de gestion Kubernetes et un orchestrateur CI/CD conçu pour unifier les cycles de vie des applications et les opérations d'infrastructure sur plusieurs clusters à partir d'une interface unique. Il sert de tableau de bord centralisé pour orchestrer les charges de travail, gérer la sécurité et fournir une observabilité pour les environnements Kubernetes. La plateforme se distingue par un moteur de flux de travail no-code pour automatiser les builds de conteneurs et les pipelines de livraison de logiciels, ainsi qu'un outil de déploiement GitOps visuel pour gérer les applications déclaratives et réconcilier la dérive de configuration. Sa surface de capacités s'étend à la gestion de la sécurité via l'analyse des vulnérabilités des images de conteneurs et la synchronisation des secrets externes, ainsi qu'à l'observabilité via un tableau de bord qui corrèle les métriques, les logs et les événements pour le débogage. Le système gère également les tâches d'infrastructure telles que la mise à l'échelle des charges de travail pilotée par les événements, l'hibernation des ressources et le contrôle d'accès basé sur les rôles. La plateforme peut être déployée en utilisant un processus d'installation bootstrap qui gère tous les composants requis et les dépendances tierces.

sqlflow est un moteur d'apprentissage automatique SQL et un orchestrateur conçu pour entraîner, déployer et expliquer des modèles d'apprentissage automatique en utilisant une syntaxe de requête SQL étendue. Il permet l'apprentissage automatique en base de données en connectant les moteurs de base de données à des boîtes à outils d'apprentissage automatique externes, permettant aux utilisateurs de définir des jeux de données d'entraînement et des hyperparamètres directement via des requêtes. Le système fonctionne comme une interface de prédiction et un outil d'explicabilité. Il permet de générer des classifications et des prédictions sur les enregistrements de base de données en appelant des fonctions de modèle au sein d'instructions SQL standard et fournit un flux de travail pour interpréter comment des fonctionnalités spécifiques influencent les décisions du modèle.

Seldon Core est un serveur de modèles de machine learning basé sur Kubernetes et un framework d'inférence MLOps. Il fonctionne comme un moteur de service multi-modèles et un orchestrateur de pipelines, empaquetant les modèles sous forme de microservices scalables exposés via des API REST et gRPC standardisées. Le projet se distingue par des pipelines d'inférence basés sur des graphes qui enchaînent les modèles et les transformateurs de données dans des flux de travail séquentiels. Il optimise l'utilisation du matériel via le service partagé multi-modèles et des stratégies de sur-allocation dynamique de mémoire, tout en prenant en charge l'expérimentation en production via le routage de trafic pondéré, les tests A/B et les déploiements fantômes. Le framework couvre un large éventail de capacités MLOps, notamment l'autoscaling basé sur la demande, le traitement asynchrone des requêtes via des bus de messages, et une surveillance complète pour la dérive des données, les valeurs aberrantes et l'explicabilité des prédictions. Il fournit également une gestion de l'infrastructure pour la configuration du runtime des modèles et une communication sécurisée utilisant le chiffrement TLS sur les plans de contrôle et de données.

Ce projet est un moteur de workflow d'apprentissage automatique conteneurisé et un orchestrateur conçu pour automatiser le cycle de vie complet des modèles d'apprentissage automatique sur des clusters Kubernetes. Il fonctionne comme un compilateur de pipeline MLOps qui transforme un langage spécifique au domaine en spécifications structurées pour un déploiement portable et évolutif. La plateforme fournit un environnement multi-tenant avec des espaces de noms isolés et une authentification par fournisseur d'identité. Elle se distingue par une combinaison d'isolation des tâches basée sur des conteneurs, une gestion des artefacts fortement typée pour le passage de données et une mise en cache des résultats adressable par contenu pour éviter les calculs redondants. Le système couvre l'orchestration complète des workflows, incluant l'exécution parallèle des tâches, la planification récurrente des exécutions et la logique de branchement conditionnel. Il prend en outre en charge le suivi des expériences, la collecte des métriques de workflow et la gestion des composants de pipeline réutilisables, avec la possibilité de configurer des demandes de ressources matérielles spécifiques pour le CPU, la mémoire et le GPU. Le logiciel est distribué via un SDK Python et peut être déployé dans des environnements autonomes, locaux ou multi-tenant.

Orchest est un orchestrateur de pipelines de données et un gestionnaire de flux de travail conteneurisés. Il fournit une plateforme pour concevoir, planifier et exécuter des séquences complexes de traitement de données via une combinaison d'interface graphique et de script. La plateforme se distingue par l'utilisation de conteneurs pour gérer les dépendances logicielles, garantissant une exécution cohérente dans différents environnements. Elle dispose d'un planificateur de tâches polyglotte capable de déclencher des jobs écrits dans plusieurs langages de programmation et inclut un système de contrôle de version qui suit les instantanés historiques des configurations de projet et du code. Le système couvre la conception visuelle de flux de travail et la cartographie des dépendances basée sur des graphes, ainsi que la planification de tâches déclenchées par le temps pour une exécution récurrente ou immédiate. Il prend également en charge le déploiement de services d'arrière-plan persistants qui restent actifs pendant toute la durée d'exécution d'un pipeline.

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution