Awesome GitHub RepositoriesModel Version Management

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

This project is a structured educational program and comprehensive training curriculum designed to teach the end-to-end lifecycle of machine learning models. It serves as a resource for engineers to master the transition of data science projects from development into reliable, production-ready systems. The curriculum focuses on the practical application of engineering best practices, emphasizing the orchestration of complex data processing and training sequences. It provides instruction on building repeatable workflows, managing experiment metadata, and implementing infrastructure automation

DiffusionBee is a Stable Diffusion desktop client for macOS that functions as an AI image generator and editor. It allows for the local generation of images from text prompts and the management of diffusion models without requiring external cloud services or technical setup. The application includes a local diffusion model manager for importing and switching between custom trained model files to achieve specific artistic styles. It also features a system for tracking generation history and uploading assets to a public gallery. The software covers several image synthesis and manipulation work

ClearML is a comprehensive MLOps platform designed to manage the end-to-end machine learning lifecycle, from initial experimentation to production deployment. It provides a suite of integrated tools including a pipeline orchestrator for automating workflows, an experiment tracking tool for logging hyperparameters and metrics, and a metadata-driven data versioning system for managing large-scale datasets and model artifacts. The platform is distinguished by its advanced compute management and serving capabilities. It features a GPU compute manager that supports fractional resource slicing and

ZenML is an orchestration platform designed for building, deploying, and monitoring reproducible machine learning pipelines and agentic workflows. It provides a unified framework that manages the entire lifecycle of machine learning assets, from data processing and model training to the deployment of persistent inference services. By decoupling pipeline logic from underlying compute and storage, the platform enables teams to transition workflows seamlessly from local development environments to production-grade cloud infrastructure. The platform distinguishes itself through a service-oriented

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

Sacred este un instrument de gestionare a experimentelor și un framework de reproductibilitate conceput pentru a organiza mai multe rulări ale unui proces cu configurații diferite. Acesta funcționează ca un tracker de experimente de învățare automată și manager de configurare a hiperparametrilor, înregistrând hiperparametrii, metricile și metadatele într-o bază de date pentru a se asigura că execuțiile experimentale rămân urmăribile. Proiectul se concentrează pe reproductibilitatea rezultatelor științifice prin gestionarea automată a semințelor aleatorii și urmărirea dependențelor de sistem. Permite execuția variantelor de experiment prin suprascrieri de parametri din linia de comandă și injectarea dinamică a parametrilor, permițând modificarea setărilor fără a altera codul sursă subiacent. Framework-ul oferă capabilități pentru logarea metadatelor în baza de date, capturând detalii hardware și versiuni software pentru a menține o înregistrare căutabilă a fiecărei rulări. De asemenea, suportă serializarea stării de execuție pentru a permite replicarea exactă a rezultatelor experimentale.

Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook

Acest proiect servește drept platformă specializată pentru cercetarea în imagistică medicală clinică, oferind o colecție de notebook-uri educaționale și instrumente standardizate pentru deep learning. Funcționează ca un framework pentru construirea și antrenarea rețelelor neuronale adaptate proprietăților geometrice și de intensitate unice ale datelor de imagistică medicală, susținând sarcini precum segmentarea, clasificarea și înregistrarea. Platforma se distinge prin accentul pus pe fluxurile de lucru de cercetare end-to-end, oferind șabloane modulare care standardizează preprocesarea datelor, antrenarea modelelor și inferența. Include capabilități pentru modelare generativă, cum ar fi „latent diffusion” și rețele adversariale, pentru a crea imagini sintetice sau a efectua traduceri de tip imagine-la-imagine. Mai mult, oferă instrumente automatizate pentru adnotarea și segmentarea imaginilor medicale, reducând efortul manual în pregătirea seturilor de date. Framework-ul susține cercetarea de înaltă performanță prin integrarea orchestrării de calcul distribuit, antrenării cu precizie mixtă și a pipeline-urilor de date bazate pe tensori pentru a gestiona seturi de date tridimensionale la scară largă. Include, de asemenea, funcționalități pentru gestionarea metadatelor experimentelor pentru a asigura reproductibilitatea și oferă căi pentru încapsularea modelelor antrenate în servicii gata de producție pentru suportul decizional clinic. Repository-ul este structurat ca o serie de Jupyter notebooks interactive care demonstrează aceste fluxuri de lucru, cu opțiuni de a executa sarcini în medii pre-configurate bazate pe cloud.