Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron is a Kubernetes management platform and CI/CD orchestrator designed to unify application lifecycles and infrastructure operations across multiple clusters from a single interface. It serves as a centralized dashboard for orchestrating workloads, managing security, and providing observability for Kubernetes environments. The platform distinguishes itself with a no-code workflow engine for automating container builds and software delivery pipelines, alongside a visual GitOps deployment tool for managing declarative applications and reconciling configuration drift. Its capability surfac

sqlflow is a SQL machine learning engine and orchestrator designed for training, deploying, and explaining machine learning models using extended SQL query syntax. It enables in-database machine learning by connecting database engines to external machine learning toolkits, allowing users to define training datasets and hyperparameters directly through queries. The system functions as a prediction interface and explainability tool. It allows for generating classifications and predictions on database records by calling model functions within standard SQL statements and provides a workflow to in

Seldon Core एक Kubernetes-आधारित मशीन लर्निंग मॉडल सर्वर और MLOps इन्फरेंस फ्रेमवर्क है। यह एक मल्टी-मॉडल सर्विंग इंजन और पाइपलाइन ऑर्केस्ट्रेटर के रूप में कार्य करता है, जो मॉडल्स को स्केलेबल माइक्रोसर्विसेज के रूप में पैकेज करता है जिन्हें स्टैंडर्ड REST और gRPC API के माध्यम से एक्सपोज़ किया जाता है। यह प्रोजेक्ट ग्राफ-आधारित इन्फरेंस पाइपलाइन्स के माध्यम से अलग है जो मॉडल्स और डेटा ट्रांसफॉर्मर्स को अनुक्रमिक वर्कफ़्लो में जोड़ते हैं। यह मल्टी-मॉडल शेयर्ड सर्विंग और डायनामिक मेमोरी ओवरकमिट रणनीतियों के माध्यम से हार्डवेयर उपयोग को ऑप्टिमाइज़ करता है, जबकि वेटेड ट्रैफिक रूटिंग, A/B टेस्टिंग और शैडो डिप्लॉयमेंट के माध्यम से प्रोडक्शन एक्सपेरिमेंटेशन का समर्थन करता है। यह फ्रेमवर्क डिमांड-आधारित ऑटोस्केलिंग, मैसेज बसों के माध्यम से एसिंक्रोनस रिक्वेस्ट प्रोसेसिंग, और डेटा ड्रिफ्ट, आउटलेयर्स और प्रेडिक्शन एक्सप्लेनबिलिटी के लिए व्यापक मॉनिटरिंग सहित MLOps क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह मॉडल रनटाइम कॉन्फ़िगरेशन के लिए इंफ्रास्ट्रक्चर मैनेजमेंट और कंट्रोल और डेटा प्लेन्स पर TLS एन्क्रिप्शन का उपयोग करके सुरक्षित संचार भी प्रदान करता है।

This project is a containerized machine learning workflow engine and orchestrator designed to automate the end-to-end lifecycle of machine learning models on Kubernetes clusters. It functions as an MLOps pipeline compiler that transforms a domain-specific language into structured specifications for portable and scalable deployment. The platform provides a multi-tenant environment with isolated namespaces and identity provider authentication. It distinguishes itself through a combination of container-based task isolation, strongly typed artifact management for data passing, and content-address

Orchest एक डेटा पाइपलाइन ऑर्केस्ट्रेटर और कंटेनरीकृत वर्कफ़्लो मैनेजर है। यह ग्राफिकल इंटरफ़ेस और स्क्रिप्टिंग के संयोजन के माध्यम से जटिल डेटा प्रोसेसिंग अनुक्रमों को डिज़ाइन करने, शेड्यूल करने और निष्पादित करने के लिए एक प्लेटफ़ॉर्म प्रदान करता है। प्लेटफ़ॉर्म सॉफ़्टवेयर निर्भरताओं का प्रबंधन करने के लिए कंटेनरों का उपयोग करके खुद को अलग करता है, जो विभिन्न वातावरणों में सुसंगत निष्पादन सुनिश्चित करता है। इसमें कई प्रोग्रामिंग भाषाओं में लिखे गए जॉब्स को ट्रिगर करने में सक्षम एक पॉलीग्लॉट टास्क शेड्यूलर है और इसमें एक वर्ज़न कंट्रोल सिस्टम शामिल है जो प्रोजेक्ट कॉन्फ़िगरेशन और कोड के ऐतिहासिक स्नैपशॉट को ट्रैक करता है। सिस्टम विज़ुअल वर्कफ़्लो डिज़ाइन और ग्राफ़-आधारित निर्भरता मैपिंग को कवर करता है, साथ ही आवर्ती या तत्काल निष्पादन के लिए समय-ट्रिगर टास्क शेड्यूलिंग का समर्थन करता है। यह उन स्थायी बैकग्राउंड सेवाओं की तैनाती का भी समर्थन करता है जो पाइपलाइन रन की अवधि के लिए सक्रिय रहती हैं।

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution