Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron este o platformă de gestionare Kubernetes și un orchestrator CI/CD conceput pentru a unifica ciclurile de viață ale aplicațiilor și operațiunile de infrastructură în mai multe clustere dintr-o singură interfață. Servește ca un dashboard centralizat pentru orchestrarea workload-urilor, gestionarea securității și oferirea de observabilitate pentru mediile Kubernetes. Platforma se distinge printr-un motor de flux de lucru no-code pentru automatizarea build-urilor de containere și a pipeline-urilor de livrare software, alături de un instrument vizual de implementare GitOps pentru gestionarea aplicațiilor declarative și reconcilierea derivei de configurare. Suprafața sa de capabilități se extinde la gestionarea securității prin scanarea vulnerabilităților imaginilor de containere și sincronizarea secretelor externe, precum și la observabilitate printr-un dashboard care corelează metrici, log-uri și evenimente pentru depanare. Sistemul gestionează, de asemenea, sarcini de infrastructură precum scalarea workload-urilor bazată pe evenimente, hibernarea resurselor și controlul accesului bazat pe roluri. Platforma poate fi implementată folosind un proces de instalare bootstrap care gestionează toate componentele necesare și dependențele terțe.

sqlflow este un motor de machine learning SQL și orchestrator conceput pentru antrenarea, implementarea și explicarea modelelor de machine learning folosind o sintaxă extinsă de interogare SQL. Acesta permite machine learning-ul în interiorul bazei de date prin conectarea motoarelor de baze de date la seturi de instrumente externe de machine learning, permițând utilizatorilor să definească seturi de date de antrenament și hiperparametri direct prin interogări. Sistemul funcționează ca o interfață de predicție și un instrument de explicabilitate. Permite generarea de clasificări și predicții pe înregistrările din baza de date prin apelarea funcțiilor de model în cadrul instrucțiunilor SQL standard și oferă un flux de lucru pentru a interpreta modul în care caracteristicile specifice influențează deciziile modelului.

Seldon Core este un server de modele de machine learning bazat pe Kubernetes și un framework de inferență MLOps. Funcționează ca un motor de servire multi-model și orchestrator de pipeline-uri, împachetând modelele ca microservicii scalabile care sunt expuse prin API-uri standardizate REST și gRPC. Proiectul se distinge prin pipeline-uri de inferență bazate pe grafuri care înlănțuie modele și transformatoare de date în fluxuri de lucru secvențiale. Optimizează utilizarea hardware-ului prin servire partajată multi-model și strategii de overcommit dinamic al memoriei, susținând în același timp experimentarea în producție prin rutarea ponderată a traficului, testarea A/B și deployment-uri de tip shadow. Framework-ul acoperă o gamă largă de capabilități MLOps, inclusiv autoscaling bazat pe cerere, procesarea asincronă a cererilor prin message bus-uri și monitorizarea completă pentru data drift, valori aberante (outliers) și explicabilitatea predicțiilor. Oferă, de asemenea, gestionarea infrastructurii pentru configurarea runtime-ului modelelor și comunicare securizată folosind criptare TLS pe planurile de control și de date.

Acest proiect este un motor de flux de lucru pentru machine learning containerizat și orchestrator conceput pentru a automatiza ciclul de viață end-to-end al modelelor de machine learning pe clustere Kubernetes. Funcționează ca un compilator de pipeline MLOps care transformă un limbaj specific domeniului în specificații structurate pentru implementare portabilă și scalabilă. Platforma oferă un mediu multi-tenant cu namespace-uri izolate și autentificare prin furnizor de identitate. Se distinge printr-o combinație de izolare a sarcinilor bazată pe containere, gestionarea artefactelor puternic tipizate pentru transferul de date și caching-ul rezultatelor adresabile prin conținut pentru a evita calculele redundante. Sistemul acoperă orchestrarea cuprinzătoare a fluxului de lucru, inclusiv execuția sarcinilor în paralel, programarea recurentă a rulărilor și logica de ramificare condiționată. De asemenea, suportă urmărirea experimentelor, colectarea metricilor fluxului de lucru și gestionarea componentelor de pipeline reutilizabile, cu posibilitatea de a configura cerințe specifice de resurse hardware pentru CPU, memorie și GPU. Software-ul este distribuit printr-un SDK Python și poate fi implementat în medii standalone, locale sau multi-tenant.

Orchest este un orchestrator de pipeline-uri de date și un manager de fluxuri de lucru containerizat. Oferă o platformă pentru proiectarea, programarea și executarea secvențelor complexe de procesare a datelor printr-o combinație de interfață grafică și scripting. Platforma se distinge prin utilizarea containerelor pentru a gestiona dependențele software, asigurând o execuție consistentă în medii diferite. Dispune de un scheduler de sarcini poliglot capabil să declanșeze joburi scrise în mai multe limbaje de programare și include un sistem de control al versiunilor care urmărește snapshot-urile istorice ale configurațiilor de proiect și ale codului. Sistemul acoperă designul vizual al fluxului de lucru și maparea dependențelor bazată pe grafuri, alături de programarea sarcinilor declanșate de timp pentru execuție recurentă sau imediată. De asemenea, suportă implementarea serviciilor de fundal persistente care rămân active pe durata rulării unui pipeline.

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution