Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron ist eine Kubernetes-Management-Plattform und ein CI/CD-Orchestrator, der entwickelt wurde, um Anwendungslebenszyklen und Infrastrukturoperationen über mehrere Cluster hinweg von einem einzigen Interface aus zu vereinheitlichen. Es dient als zentrales Dashboard für die Orchestrierung von Workloads, das Management von Sicherheit und die Bereitstellung von Observability für Kubernetes-Umgebungen. Die Plattform zeichnet sich durch eine No-Code-Workflow-Engine zur Automatisierung von Container-Builds und Software-Delivery-Pipelines aus, neben einem visuellen GitOps-Deployment-Tool für die Verwaltung deklarativer Anwendungen und die Abstimmung von Konfigurations-Drifts. Ihre Funktionsoberfläche erstreckt sich auf das Sicherheitsmanagement durch das Scannen von Container-Images auf Schwachstellen und die Synchronisierung externer Secrets sowie auf Observability über ein Dashboard, das Metriken, Logs und Events für das Debugging korreliert. Das System handhabt zudem Infrastrukturaufgaben wie eventgesteuerte Workload-Skalierung, Ressourcen-Hibernation und rollenbasierte Zugriffskontrolle. Die Plattform kann mittels eines Bootstrap-Installationsprozesses bereitgestellt werden, der alle erforderlichen Komponenten und Drittanbieter-Abhängigkeiten verwaltet.

sqlflow is a SQL machine learning engine and orchestrator designed for training, deploying, and explaining machine learning models using extended SQL query syntax. It enables in-database machine learning by connecting database engines to external machine learning toolkits, allowing users to define training datasets and hyperparameters directly through queries. The system functions as a prediction interface and explainability tool. It allows for generating classifications and predictions on database records by calling model functions within standard SQL statements and provides a workflow to in

Seldon Core ist ein auf Kubernetes basierender Server für Machine-Learning-Modelle und ein MLOps-Inference-Framework. Es fungiert als Serving-Engine für mehrere Modelle und als Pipeline-Orchestrator, der Modelle als skalierbare Microservices verpackt, die über standardisierte REST- und gRPC-APIs bereitgestellt werden. Das Projekt zeichnet sich durch graphbasierte Inference-Pipelines aus, die Modelle und Datentransformatoren zu sequenziellen Workflows verketten. Es optimiert die Hardwareauslastung durch Shared-Serving für mehrere Modelle und Strategien für dynamisches Memory-Overcommit, während es gleichzeitig Produktionsexperimente durch gewichtetes Traffic-Routing, A/B-Tests und Shadow-Deployments unterstützt. Das Framework deckt ein breites Spektrum an MLOps-Funktionen ab, darunter bedarfsgesteuertes Autoscaling, asynchrone Request-Verarbeitung über Message-Busse sowie umfassendes Monitoring für Data Drift, Ausreißer und die Erklärbarkeit von Vorhersagen. Es bietet zudem Infrastrukturmanagement für die Konfiguration der Modell-Runtime und sichere Kommunikation mittels TLS-Verschlüsselung über Control- und Data-Planes hinweg.

Dieses Projekt ist eine containerisierte Machine-Learning-Workflow-Engine und ein Orchestrator, der darauf ausgelegt ist, den End-to-End-Lebenszyklus von Machine-Learning-Modellen auf Kubernetes-Clustern zu automatisieren. Es fungiert als MLOps-Pipeline-Compiler, der eine domänenspezifische Sprache in strukturierte Spezifikationen für eine portable und skalierbare Bereitstellung umwandelt. Die Plattform bietet eine Multi-Tenant-Umgebung mit isolierten Namespaces und Identitätsanbieter-Authentifizierung. Sie zeichnet sich durch eine Kombination aus containerbasierter Aufgabenisolierung, stark typisiertem Artefaktmanagement für die Datenübergabe und inhaltsadressierbarem Ergebnis-Caching aus, um redundante Berechnungen zu vermeiden. Das System deckt eine umfassende Workflow-Orchestrierung ab, einschließlich paralleler Aufgabenausführung, wiederkehrender Laufplanung und bedingter Verzweigungslogik. Es unterstützt zudem Experiment-Tracking, Workflow-Metrikerfassung und das Management wiederverwendbarer Pipeline-Komponenten, mit der Möglichkeit, spezifische Hardware-Ressourcenanforderungen für CPU, Speicher und GPU zu konfigurieren. Die Software wird über ein Python-SDK vertrieben und kann in eigenständigen, lokalen oder Multi-Tenant-Umgebungen bereitgestellt werden.

Orchest is a data pipeline orchestrator and containerized workflow manager. It provides a platform for designing, scheduling, and executing complex data processing sequences through a combination of a graphical interface and scripting. The platform distinguishes itself by using containers to manage software dependencies, ensuring consistent execution across different environments. It features a polyglot task scheduler capable of triggering jobs written in multiple programming languages and includes a version control system that tracks historical snapshots of project configurations and code.

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution