Awesome GitHub RepositoriesDistributed Training Platforms

LightGBM is a high-performance machine learning framework designed for constructing gradient-boosted decision tree ensembles. It provides a platform for training classification, regression, and ranking models, with a focus on memory efficiency and large-scale distributed computing. The framework distinguishes itself through specialized algorithmic strategies, including leaf-wise tree growth and histogram-based decision learning, which prioritize convergence speed. It optimizes memory usage by bundling mutually exclusive features and employs gradient-based sampling to reduce training complexit

h2o-3 is a distributed machine learning platform and automated machine learning framework designed for training and deploying predictive models using distributed in-memory computing. It functions as a deep learning framework and a distributed model scoring engine, capable of operating as a Kubernetes ML cluster to process large datasets in parallel. The platform distinguishes itself through automated machine learning capabilities that automatically select the best algorithms and hyperparameters to optimize model performance. It provides specialized deep learning toolkits for tasks including i

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

Azure Machine Learning Notebooks is a cloud-based environment for developing and executing interactive Jupyter notebooks within a managed machine learning workspace. It provides managed machine learning compute through cloud-based workstations and containerized environments pre-configured with GPU drivers and kernels for high-performance model training. The project functions as a distributed GPU training platform and an ML experiment tracking system to monitor training metrics and version data assets. It also serves as an MLOps pipeline orchestrator for automating modular workflows and a mode

FedML este o bibliotecă distribuită de antrenare a modelelor de machine learning, un framework de învățare federată și un orchestrator de sarcini GPU. Acesta oferă componentele de sistem de bază necesare pentru a executa antrenarea și fine-tuning-ul modelelor la scară largă pe clustere GPU multi-cloud, on-premise și descentralizate, oferind în același timp un motor dedicat pentru servirea scalabilă a modelelor și un manager de pipeline MLOps pentru gestionarea întregului ciclu de viață. Platforma se distinge prin activarea învățării federate cu conservarea confidențialității pe dispozitive edge descentralizate și silozuri organizaționale, păstrând datele brute pe hardware-ul local. De asemenea, dispune de o piață de calcul cu partajare a resurselor care permite utilizatorilor să contribuie cu capacitate GPU neutilizată la un pool partajat pentru execuția sarcinilor distribuite. Sistemul acoperă o gamă largă de capabilități, inclusiv orchestrarea GPU multi-cloud, gestionarea automatizată a pipeline-urilor de machine learning și implementarea AI la nivel de edge pentru dispozitive IoT și smartphone-uri. De asemenea, integrează instrumente pentru fine-tuning-ul modelelor fundamentale, implementarea inferenței cu latență scăzută și monitorizarea experimentelor de antrenare cu profilarea performanței hardware. Utilizatorii pot lansa și programa sarcini folosind o interfață în linie de comandă și fișiere de configurare declarative.