Awesome GitHub RepositoriesHyperparameter Optimization Tools

Recommenders is a recommendation system framework designed for building, benchmarking, and deploying collaborative and content-based filtering models. It provides a machine learning model pipeline that standardizes the process of moving recommendation data from raw ingestion through training and evaluation. The project functions as a model benchmarking toolkit, utilizing standardized ranking and error metrics to compare the accuracy of different algorithms. It also serves as a hyperparameter tuning tool, allowing for the optimization of model behavior and performance via external configuratio

This repository serves as a comprehensive educational resource and study guide for mastering deep learning principles and neural network architectures. It provides a structured curriculum that covers the fundamental components of artificial intelligence, including backpropagation, optimization algorithms, and model performance tuning. The collection distinguishes itself by offering curated academic materials and practical implementation examples that bridge the gap between theoretical concepts and hands-on application. It includes specialized instructional guides for developing models capable

ai-edu is a comprehensive AI education curriculum and machine learning courseware collection. It provides theoretical tutorials, deep learning lab exercises, and project blueprints designed to teach artificial intelligence fundamentals through a combination of study and practical implementation. The project focuses on a learning-by-doing approach, guiding users from Python programming and neural network basics to advanced topics. It includes specialized instructional content on distributed AI training, MLOps educational guides for model quantization and pruning, and detailed frameworks for im

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

This is a scikit-learn automated machine learning framework designed to optimize model selection and hyperparameters. It functions as an automated model selector and hyperparameter optimization tool for classification and regression tasks, utilizing an automated ensemble builder to combine high-performing models for increased predictive accuracy. The system features a distributed search engine that uses Dask for parallel machine learning optimization across CPU cores or clusters. It implements a budget-based evaluation strategy through successive halving to prioritize promising model configur

Surprise is a Python library for building and analyzing recommendation systems. It provides a comprehensive toolkit for implementing collaborative filtering to predict user preferences and generate item suggestions based on historical rating patterns. The library includes dedicated tools for hyperparameter optimization and model evaluation. It allows for searching through parameter sets to find the most effective configurations and utilizes a suite of metrics to measure prediction accuracy. The framework covers the full development workflow, including data loading from various sources, the c

Skorch este o bibliotecă ce învelește rețelele neuronale PyTorch într-o interfață compatibilă cu scikit-learn, permițând utilizarea modelelor de deep learning în cadrul pipeline-urilor standard de machine learning și al instrumentelor de optimizare a hiperparametrilor. Funcționează ca un adaptor de date, manager de antrenament și instrument de optimizare care face legătura între modulele de deep learning și fluxurile de lucru convenționale de machine learning. Proiectul se distinge prin furnizarea unui set de instrumente pentru automatizarea ciclului de viață al antrenamentului PyTorch, inclusiv checkpointing integrat, oprire timpurie (early stopping) și programarea ratei de învățare. Permite în continuare transfer learning-ul prin utilitare pentru înghețarea unor straturi specifice ale modelului și fine-tuning-ul ponderilor pre-antrenate pentru sarcini specializate. Suprafața de capabilități se extinde la transformarea datelor, inclusiv conversia datelor tabelare și a array-urilor numerice în formate tensoriale și înregistrarea tokenizatoarelor de text. Oferă, de asemenea, instrumente pentru selectarea accelerării hardware, compilarea modulelor just-in-time și modelarea probabilistică a datelor pentru cuantificarea incertitudinii. Sistemul include utilitare pentru maparea hiperparametrilor la argumentele liniei de comandă pentru a asigura experimente reproductibile.

FLAML este un framework de învățare automată automatizată, un instrument de optimizare a hiperparametrilor și un orchestrator de agenți pentru modele de limbaj mari. Oferă un sistem pentru selecția și reglarea modelelor pe diverse learner-e și seturi de date, oferind în același timp un toolkit pentru optimizarea parametrilor de inferență și reglarea fină a setărilor modelelor de limbaj mari. Proiectul dispune de un sistem de reglare meta-learning care analizează datele istorice ale sarcinilor pentru a genera configurații implicite dependente de date, accelerând convergența modelului. De asemenea, permite proiectarea sistemelor multi-agent colaborative prin fluxuri de lucru conversaționale și orchestrare bazată pe evenimente. Capabilitățile acoperă căutarea eficientă a hiperparametrilor pentru modele de învățare automată și funcții Python arbitrare, suportând spații de căutare ierarhice și optimizarea obiectivelor lexicografice. Framework-ul include, de asemenea, utilitare pentru selecția automată a modelelor, construcția de ansambluri stivuite, configurarea zero-shot și aplicarea constrângerilor de echitate. Sistemul suportă scalarea reglării distribuite și execuția concurentă a trial-urilor pe clustere de calcul pentru a reduce durata totală a căutării.

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov

Acest proiect este un framework pentru implementarea distilării cunoștințelor (knowledge distillation) și gestionarea experimentelor de deep learning în ecosistemul PyTorch. Oferă un mediu structurat pentru antrenarea modelelor compacte (student) care să imite distribuțiile de output ale modelelor mai mari (teacher), cu scopul de a îmbunătăți eficiența inferenței. Framework-ul se distinge prin decuplarea arhitecturilor de model de funcțiile de loss, permițând compoziția flexibilă a componentelor teacher și student. Integrează capabilități de căutare automată în grilă (grid search) a hiperparametrilor pentru a identifica sistematic configurațiile optime de antrenament, care sunt gestionate prin serializarea fișierelor externe pentru a asigura consistența pe parcursul rulărilor experimentale. Dincolo de funcțiile sale de bază de distilare și optimizare, toolkit-ul include gestionarea completă a ciclului de viață pentru sesiunile de antrenament. Aceasta include checkpoint-uri persistente pentru recuperarea în caz de eroare, monitorizarea progresului în timp real și agregarea metricilor de performanță în rezumate structurate pentru analiză comparativă.