Awesome GitHub RepositoriesModel Version Management

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

This project is a structured educational program and comprehensive training curriculum designed to teach the end-to-end lifecycle of machine learning models. It serves as a resource for engineers to master the transition of data science projects from development into reliable, production-ready systems. The curriculum focuses on the practical application of engineering best practices, emphasizing the orchestration of complex data processing and training sequences. It provides instruction on building repeatable workflows, managing experiment metadata, and implementing infrastructure automation

DiffusionBee is a Stable Diffusion desktop client for macOS that functions as an AI image generator and editor. It allows for the local generation of images from text prompts and the management of diffusion models without requiring external cloud services or technical setup. The application includes a local diffusion model manager for importing and switching between custom trained model files to achieve specific artistic styles. It also features a system for tracking generation history and uploading assets to a public gallery. The software covers several image synthesis and manipulation work

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

lakeFS est un système de versioning de data lake qui fournit des branches et des commits de type Git pour de grands jeux de données stockés dans un stockage objet. Il fonctionne comme une couche de contrôle de version, permettant la création d'instantanés immuables, de commits atomiques et de branches zero-copy pour créer des environnements isolés pour l'expérimentation de données sans dupliquer les fichiers physiques. Le système sert de passerelle de stockage compatible S3 et de catalogue REST Iceberg, permettant aux protocoles de stockage cloud standard et aux clients compatibles de gérer des tables versionnées. Il agit comme un gardien de la qualité des données en utilisant un système de hooks piloté par événements pour valider les jeux de données par rapport aux politiques de gouvernance avant que les changements ne soient fusionnés en production. La plateforme couvre de larges capacités pour la gouvernance des données, incluant la collaboration via pull requests, le contrôle d'accès basé sur les rôles et le suivi de la lignée des données (data lineage). Elle fournit une intégration pour l'orchestration de workflows, les pipelines de machine learning et divers moteurs de calcul big data, prenant en charge la connectivité de stockage multi-cloud et la synchronisation d'identité via SSO et SCIM. Le logiciel peut être installé en utilisant des binaires, des conteneurs ou des charts Helm pour un déploiement sur Kubernetes.

Sacred est un outil de gestion d'expériences et un framework de reproductibilité conçu pour organiser plusieurs exécutions d'un processus avec des configurations différentes. Il fonctionne comme un tracker d'expériences d'apprentissage automatique et un gestionnaire de configuration d'hyperparamètres, enregistrant les hyperparamètres, les métriques et les métadonnées dans une base de données pour garantir que les exécutions expérimentales restent traçables. Le projet se concentre sur la reproductibilité des résultats scientifiques en gérant automatiquement les graines aléatoires et en suivant les dépendances système. Il permet l'exécution de variantes d'expériences via des remplacements de paramètres en ligne de commande et l'injection dynamique de paramètres, permettant la modification des paramètres sans altérer le code source sous-jacent. Le framework fournit des capacités pour l'enregistrement de métadonnées sauvegardé en base de données, capturant les détails matériels et les versions logicielles pour maintenir un enregistrement interrogeable de chaque exécution. Il prend également en charge la sérialisation de l'état d'exécution pour permettre la réplication exacte des résultats expérimentaux.

Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook

This project serves as a specialized platform for clinical medical imaging research, providing a collection of educational notebooks and standardized tools for deep learning. It functions as a framework for building and training neural networks tailored to the unique geometric and intensity properties of medical image data, supporting tasks such as segmentation, classification, and registration. The platform distinguishes itself through its focus on end-to-end research workflows, offering modular templates that standardize data preprocessing, model training, and inference. It includes capabil