Awesome GitHub RepositoriesHyperparameter Optimization Tools

Recommenders is a recommendation system framework designed for building, benchmarking, and deploying collaborative and content-based filtering models. It provides a machine learning model pipeline that standardizes the process of moving recommendation data from raw ingestion through training and evaluation. The project functions as a model benchmarking toolkit, utilizing standardized ranking and error metrics to compare the accuracy of different algorithms. It also serves as a hyperparameter tuning tool, allowing for the optimization of model behavior and performance via external configuratio

This repository serves as a comprehensive educational resource and study guide for mastering deep learning principles and neural network architectures. It provides a structured curriculum that covers the fundamental components of artificial intelligence, including backpropagation, optimization algorithms, and model performance tuning. The collection distinguishes itself by offering curated academic materials and practical implementation examples that bridge the gap between theoretical concepts and hands-on application. It includes specialized instructional guides for developing models capable

ai-edu is a comprehensive AI education curriculum and machine learning courseware collection. It provides theoretical tutorials, deep learning lab exercises, and project blueprints designed to teach artificial intelligence fundamentals through a combination of study and practical implementation. The project focuses on a learning-by-doing approach, guiding users from Python programming and neural network basics to advanced topics. It includes specialized instructional content on distributed AI training, MLOps educational guides for model quantization and pruning, and detailed frameworks for im

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

This is a scikit-learn automated machine learning framework designed to optimize model selection and hyperparameters. It functions as an automated model selector and hyperparameter optimization tool for classification and regression tasks, utilizing an automated ensemble builder to combine high-performing models for increased predictive accuracy. The system features a distributed search engine that uses Dask for parallel machine learning optimization across CPU cores or clusters. It implements a budget-based evaluation strategy through successive halving to prioritize promising model configur

Surprise is a Python library for building and analyzing recommendation systems. It provides a comprehensive toolkit for implementing collaborative filtering to predict user preferences and generate item suggestions based on historical rating patterns. The library includes dedicated tools for hyperparameter optimization and model evaluation. It allows for searching through parameter sets to find the most effective configurations and utilizes a suite of metrics to measure prediction accuracy. The framework covers the full development workflow, including data loading from various sources, the c

Skorch est une bibliothèque qui enveloppe les réseaux de neurones PyTorch dans une interface compatible avec scikit-learn, permettant d'utiliser des modèles de deep learning au sein de pipelines de machine learning standard et d'outils d'optimisation d'hyperparamètres. Il fonctionne comme un adaptateur de données, un gestionnaire d'entraînement et un outil d'optimisation qui comble le fossé entre les modules de deep learning et les workflows de machine learning conventionnels. Le projet se distingue en fournissant une boîte à outils pour automatiser le cycle de vie de l'entraînement PyTorch, incluant le checkpointing intégré, l'arrêt précoce (early stopping) et la planification du taux d'apprentissage. Il permet en outre le transfert learning via des utilitaires pour geler des couches de modèle spécifiques et affiner des poids pré-entraînés pour des tâches spécialisées. La surface de capacité s'étend à la transformation des données, incluant la conversion de données tabulaires et de tableaux numériques en formats de tenseurs et l'enregistrement de tokenizers de texte. Il fournit également des outils pour la sélection de l'accélération matérielle, la compilation de modules juste-à-temps (JIT) et la modélisation de données probabilistes pour la quantification de l'incertitude. Le système inclut des utilitaires pour mapper les hyperparamètres aux arguments de ligne de commande afin d'assurer la reproductibilité des expériences.

FLAML est un framework d'apprentissage automatique automatisé, un outil d'optimisation d'hyperparamètres et un orchestrateur d'agents de grands modèles de langage. Il fournit un système pour la sélection et le réglage des modèles à travers divers apprenants et jeux de données, tout en offrant une boîte à outils pour optimiser les paramètres d'inférence et les paramètres de réglage fin des grands modèles de langage. Le projet dispose d'un système de réglage par méta-apprentissage qui analyse les données de tâches historiques pour générer des configurations par défaut dépendantes des données, accélérant la convergence du modèle. Il permet en outre la conception de systèmes multi-agents collaboratifs via des flux de travail conversationnels et une orchestration pilotée par événements. Les capacités couvrent la recherche d'hyperparamètres efficace en ressources pour les modèles d'apprentissage automatique et les fonctions Python arbitraires, prenant en charge les espaces de recherche hiérarchiques et l'optimisation objective lexicographique. Le framework inclut également des utilitaires pour la sélection automatique de modèles, la construction d'ensembles empilés, la configuration zero-shot et l'application de contraintes d'équité. Le système prend en charge la mise à l'échelle du réglage distribué et l'exécution simultanée d'essais à travers des clusters de calcul pour réduire la durée totale de recherche.

This project is a collection of scripts and workflows for training, fine-tuning, and deploying large language models using the Hugging Face Transformers toolkit. It functions as a distributed training framework, a library for natural language processing task implementations, and a system for building retrieval-augmented generation chatbots. The repository includes specialized tools for model optimization, such as a Bayesian hyperparameter optimizer for automatically tuning model settings. It provides implementations for scaling model training across multiple graphics processors using data par

This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov

Ce projet est un framework pour implémenter la distillation de connaissances et gérer des expériences d'apprentissage profond (deep learning) au sein de l'écosystème PyTorch. Il fournit un environnement structuré pour entraîner des modèles étudiants compacts afin d'imiter les distributions de sortie de modèles enseignants plus grands, visant à améliorer l'efficacité de l'inférence. Le framework se distingue en découplant les architectures de modèles des fonctions de perte, permettant une composition flexible des composants enseignants et étudiants. Il intègre des capacités de recherche par grille (grid search) d'hyperparamètres automatisée pour identifier systématiquement les configurations d'entraînement optimales, qui sont gérées via une sérialisation de fichiers externe pour garantir la cohérence entre les exécutions expérimentales. Au-delà de ses fonctions principales de distillation et d'optimisation, la boîte à outils inclut une gestion complète du cycle de vie des sessions d'entraînement. Cela comprend le checkpointing persistant pour la récupération après erreur, le suivi de la progression en temps réel et l'agrégation des métriques de performance dans des résumés structurés pour une analyse comparative.