Awesome GitHub RepositoriesGitOps And Continuous Delivery

Kedro is a data science pipeline framework and production toolbox designed to build reproducible, modular workflows using software engineering best practices. It functions as a data engineering orchestrator and catalog manager, bridging the gap between interactive analysis and maintainable production pipelines. The framework distinguishes itself by using a data catalog to decouple data access from processing logic and providing tools to transition analysis from interactive notebooks into structured workflows. It includes a workflow visualization tool that generates visual maps of data pipelin

Reloader is a Kubernetes custom controller designed to automate pod restarts and synchronize running workloads with external configuration stores. It functions as a configuration reloader that triggers rolling upgrades for pods whenever referenced ConfigMaps or Secrets are updated. The tool distinguishes itself by integrating with external secret managers, CSI drivers, and GitOps workflows to ensure workloads are restarted when secrets from external stores change. It utilizes targeted filtering via labels and annotations to control which resources or namespaces trigger restarts, and it can pa

Meshery is a service mesh management plane and cloud native infrastructure orchestrator. It provides a visual design-as-code environment for modeling microservices and infrastructure components through declarative blueprints, functioning as a centralized platform for designing, deploying, and managing service mesh infrastructure. The platform is distinguished by its ability to translate visual designs into active deployments and its use of gRPC-based adapters to integrate with diverse infrastructure providers. It features a multi-tenant architecture that manages shared workspaces and role-bas

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Devtron هي منصة لإدارة Kubernetes ومنسق CI/CD مصمم لتوحيد دورات حياة التطبيقات وعمليات البنية التحتية عبر مجموعات متعددة من واجهة واحدة. تعمل كلوحة تحكم مركزية لتنسيق أعباء العمل، وإدارة الأمان، وتوفير المراقبة لبيئات Kubernetes. تتميز المنصة بمحرك سير عمل بدون كود (no-code) لأتمتة بناء الحاويات وخطوط أنابيب تسليم البرمجيات، إلى جانب أداة نشر GitOps مرئية لإدارة التطبيقات التصريحية ومطابقة انحراف التهيئة. يمتد سطح إمكانياتها إلى إدارة الأمان من خلال فحص ثغرات صور الحاويات ومزامنة الأسرار الخارجية، بالإضافة إلى المراقبة عبر لوحة تحكم تربط المقاييس والسجلات والأحداث لتصحيح الأخطاء. يتعامل النظام أيضاً مع مهام البنية التحتية مثل توسيع أعباء العمل القائم على الأحداث، وإسبات الموارد، والتحكم في الوصول القائم على الأدوار. يمكن نشر المنصة باستخدام عملية تثبيت تمهيدية تدير جميع المكونات المطلوبة وتبعيات الطرف الثالث.

sqlflow هو محرك تعلم آلي ومنسق SQL مصمم لتدريب ونشر وشرح نماذج التعلم الآلي باستخدام صيغة استعلام SQL موسعة. يتيح التعلم الآلي داخل قاعدة البيانات من خلال ربط محركات قواعد البيانات بمجموعات أدوات التعلم الآلي الخارجية، مما يسمح للمستخدمين بتحديد مجموعات بيانات التدريب والمعاملات الفائقة مباشرة من خلال الاستعلامات. يعمل النظام كواجهة تنبؤ وأداة قابلية للتفسير. يسمح بإنشاء تصنيفات وتنبؤات على سجلات قاعدة البيانات عن طريق استدعاء وظائف النموذج ضمن عبارات SQL القياسية ويوفر سير عمل لتفسير كيفية تأثير ميزات معينة على قرارات النموذج.

Seldon Core هو خادم نماذج تعلم آلي وإطار عمل للاستدلال (Inference) يعتمد على Kubernetes. يعمل كمحرك لخدمة النماذج المتعددة ومنسق لخطوط الأنابيب، حيث يقوم بتغليف النماذج كخدمات مصغرة قابلة للتوسع يتم عرضها عبر واجهات REST وgRPC قياسية. يتميز المشروع بخطوط أنابيب استدلال قائمة على الرسوم البيانية (Graph-based) تقوم بربط النماذج ومحولات البيانات في سير عمل متسلسل. يعمل على تحسين استخدام الأجهزة من خلال الخدمة المشتركة للنماذج المتعددة واستراتيجيات تجاوز سعة الذاكرة الديناميكية، مع دعم تجارب الإنتاج من خلال توجيه حركة المرور الموزون، واختبار A/B، والنشر الظلي (Shadow deployments). يغطي إطار العمل نطاقاً واسعاً من قدرات MLOps، بما في ذلك القياس التلقائي القائم على الطلب، ومعالجة الطلبات غير المتزامنة عبر ناقلات الرسائل، والمراقبة الشاملة لانحراف البيانات، والقيم المتطرفة، وقابلية تفسير التنبؤات. كما يوفر إدارة البنية التحتية لتكوين وقت تشغيل النموذج والاتصال الآمن باستخدام تشفير TLS عبر مستويات التحكم والبيانات.

هذا المشروع عبارة عن محرك سير عمل للتعلم الآلي حاوي (containerized) ومنسق مصمم لأتمتة دورة حياة نماذج التعلم الآلي من البداية إلى النهاية على مجموعات Kubernetes. يعمل كمجمع لخط أنابيب MLOps يحول لغة خاصة بالمجال إلى مواصفات مهيكلة للنشر المحمول والقابل للتوسع. توفر المنصة بيئة متعددة المستأجرين مع مساحات أسماء معزولة ومصادقة موفر الهوية. يتميز بدمج عزل المهام القائم على الحاويات، وإدارة القطع الأثرية (artifacts) ذات النوع القوي لتمرير البيانات، والتخزين المؤقت للنتائج القابل للعنونة بالمحتوى لتجنب الحسابات الزائدة. يغطي النظام تنسيق سير العمل الشامل، بما في ذلك تنفيذ المهام المتوازي، وجدولة التشغيل المتكرر، ومنطق التفرع الشرطي. كما يدعم تتبع التجارب، وجمع مقاييس سير العمل، وإدارة مكونات خط الأنابيب القابلة لإعادة الاستخدام، مع القدرة على تكوين طلبات موارد الأجهزة المحددة لوحدة المعالجة المركزية (CPU) والذاكرة ووحدة معالجة الرسومات (GPU). يتم توزيع البرنامج عبر Python SDK ويمكن نشره في بيئات مستقلة أو محلية أو متعددة المستأجرين.

Orchest هو منسق لخطوط أنابيب البيانات ومدير سير عمل قائم على الحاويات. يوفر منصة لتصميم وجدولة وتنفيذ تسلسلات معالجة البيانات المعقدة من خلال مزيج من الواجهة الرسومية والبرمجة النصية. تتميز المنصة باستخدام الحاويات لإدارة تبعيات البرمجيات، مما يضمن تنفيذاً متسقاً عبر بيئات مختلفة. وتتميز بجدول مهام متعدد اللغات قادر على تشغيل الوظائف المكتوبة بلغات برمجة متعددة وتتضمن نظام تحكم في الإصدار يتتبع اللقطات التاريخية لتكوينات المشروع والكود. يغطي النظام تصميم سير العمل المرئي ورسم خرائط التبعية القائمة على الرسوم البيانية، إلى جانب جدولة المهام المعتمدة على الوقت للتنفيذ المتكرر أو الفوري. كما يدعم نشر خدمات الخلفية المستمرة التي تظل نشطة طوال فترة تشغيل خط الأنابيب.

The fastest ⚡️ way to build data pipelines. Develop iteratively, deploy anywhere. ☁️

Application lifecycle orchestration

Argo CD Image Updater is a tool designed to automate the lifecycle of container images within Kubernetes environments. It monitors container registries for new software versions and automatically updates the corresponding image tags in version control repositories to ensure that running workloads remain current. The system distinguishes itself by maintaining a declarative state through GitOps synchronization, where updated image references are committed directly back to version control. It employs a controller-based reconciliation loop that periodically polls registries for metadata or reacts

Automated Machine Learning on Kubernetes

Argo-CD Autopilot

Unified Interface for Constructing and Managing Workflows on different workflow engines, such as Argo Workflows, Tekton Pipelines, and Apache Airflow.

Distributed Machine Learning Patterns from Manning Publications by Yuan Tang https://bit.ly/2RKv8Zo

Keyboard-first terminal UI for Argo CD. Browse apps, scope by clusters/namespaces/projects, stream live resource status, trigger syncs, inspect diffs, and roll back safely — all without leaving your terminal.

World's first fully integrated and fully Automated Kubernetes management and orchestration solution