Awesome GitHub RepositoriesHyperparameter Optimizers

Skorch ist ein Deep-Learning-Workflow-Manager und ein Tensor-basiertes Modell-Interface. Es bietet eine konsistente API für das Training und die Vorhersage mit neuronalen Netzen innerhalb standardmäßiger Machine-Learning-Workflows und fungiert als Hyperparameter-Optimierer zur Ermittlung optimaler Netzwerkkonfigurationen. Die Bibliothek spezialisiert sich darauf, PyTorch-neuronale Netze in ein scikit-learn-kompatibles Interface einzubetten. Dies ermöglicht es, Tensor-basierte Modelle innerhalb traditioneller Machine-Learning-Pipelines und Grid-Search-Tools zu verwenden, einschließlich des Mappings von Parameter-Grids auf Modellkonfigurationen. Das Framework deckt das Management des Trainings-Lifecycles durch Early Stopping, Checkpointing und Learning-Rate-Scheduler ab. Es enthält zudem Funktionen für die Kontrolle von Modellparametern via Layer-Freezing, automatische Übersetzung zwischen Tensoren und NumPy-Arrays sowie Echtzeit-Monitoring des Trainingsfortschritts.

Skorch ist eine Bibliothek, die PyTorch-neuronale Netze in ein scikit-learn-kompatibles Interface einbettet, wodurch Deep-Learning-Modelle innerhalb standardmäßiger Machine-Learning-Pipelines und Hyperparameter-Optimierungstools verwendet werden können. Sie fungiert als Datenadapter, Trainingsmanager und Optimierungstool, das die Lücke zwischen Deep-Learning-Modulen und konventionellen Machine-Learning-Workflows schließt. Das Projekt zeichnet sich dadurch aus, dass es ein Toolkit zur Automatisierung des PyTorch-Trainings-Lifecycles bereitstellt, einschließlich integriertem Checkpointing, Early Stopping und Learning-Rate-Scheduling. Zudem ermöglicht es Transfer Learning durch Utilities zum Einfrieren spezifischer Modell-Layer und zum Fine-Tuning vortrainierter Gewichte für spezialisierte Aufgaben. Das Funktionsspektrum erstreckt sich auf Datentransformation, einschließlich der Konvertierung tabellarischer Daten und numerischer Arrays in Tensor-Formate sowie der Registrierung von Text-Tokenizern. Es bietet zudem Tools für die Auswahl von Hardwarebeschleunigung, Just-in-Time-Modulkompilierung und probabilistische Datenmodellierung zur Unsicherheitsquantifizierung. Das System enthält Utilities zum Mapping von Hyperparametern auf Kommandozeilenargumente, um reproduzierbare Experimente zu gewährleisten.

PufferLib is a reinforcement learning framework built around high-speed environment simulation and automatic hyperparameter optimization. It is designed to accelerate the entire RL training pipeline by running simulations at near-native speed and enabling the training of tiny models to super-human performance within seconds. The framework achieves its speed through a single-process training loop that eliminates inter-process communication overhead, vectorized batched simulation for parallel environment execution, and compiled C extensions that offload performance-critical computations. It als

Cube Studio ist eine Cloud-native MLOps-Plattform und ein Kubernetes-basierter KI-Orchestrator, der für den gesamten Lebenszyklus des maschinellen Lernens konzipiert ist. Es bietet ein Framework für verteiltes Training zur Feinabstimmung großer Modelle, einen GPU-Ressourcenmanager für Hardware-Virtualisierung und einen ML-Pipeline-Orchestrator, der visuelle gerichtete azyklische Graphen zur Verwaltung von End-to-End-Workflows nutzt. Die Plattform zeichnet sich durch ihren spezialisierten LLM-Inference-Server aus, der Retrieval-Augmented Generation und den Aufbau privater Wissensdatenbanken unterstützt. Sie verfügt über ein dediziertes System für das überwachte Fine-Tuning und Reinforcement Learning großer Sprachmodelle, ergänzt durch visuelle Tools zur Hyperparameter-Suche. Das System deckt ein breites Spektrum operativer Fähigkeiten ab, darunter multimodale Datenlabeling-Prozesse, verteilte Datenpipelines und Multi-Cluster-Workload-Scheduling. Zudem bietet es browserbasierte interaktive Entwicklungsumgebungen, Container-Image-Management und eine Modell-Registry für die Versionierung und Bereitstellung skalierbarer Inference-APIs mit Traffic-Splitting. Die Infrastruktur umfasst ein integriertes Cluster-Health-Monitoring sowie rollenbasierte Zugriffskontrolle mit Single-Sign-On-Integration.

PyTorch Forecasting is a deep learning framework designed for building and training neural network architectures specifically for time series forecasting. It serves as a comprehensive toolkit for implementing autoregressive models, multi-horizon forecasting, and probabilistic prediction intervals using PyTorch tensors. The library distinguishes itself through a probabilistic forecasting toolkit that generates prediction intervals and quantile forecasts using both parametric and non-parametric distributions. It further provides a neural network model optimizer for automated hyperparameter tuni

FLAML ist ein automatisiertes Machine-Learning-Framework, ein Tool zur Hyperparameter-Optimierung und ein Orchestrator für Large-Language-Model-Agenten. Es bietet ein System zur Modellauswahl und -abstimmung über verschiedene Lerner und Datensätze hinweg und stellt gleichzeitig ein Toolkit zur Optimierung der Inferenzparameter und Fine-Tuning-Einstellungen von Large Language Models bereit. Das Projekt verfügt über ein Meta-Learning-Tuning-System, das historische Aufgabendaten analysiert, um datenabhängige Standardkonfigurationen zu generieren und die Modellkonvergenz zu beschleunigen. Es ermöglicht zudem das Design kollaborativer Multi-Agenten-Systeme durch konversationelle Workflows und ereignisgesteuerte Orchestrierung. Die Funktionen decken eine ressourceneffiziente Hyperparametersuche für Machine-Learning-Modelle und beliebige Python-Funktionen ab und unterstützen hierarchische Suchräume sowie lexikografische Zieloptimierung. Das Framework enthält zudem Dienstprogramme für automatisierte Modellauswahl, gestapelte Ensemble-Konstruktion, Zero-Shot-Konfiguration und die Durchsetzung von Fairness-Beschränkungen. Das System unterstützt die Skalierung verteilter Abstimmungen und die gleichzeitige Ausführung von Versuchen über Compute-Cluster hinweg, um die Gesamtsuchdauer zu reduzieren.

fast-reid ist ein PyTorch-basiertes Computer-Vision-Framework, das für den Aufbau, das Training und das Deployment von Deep-Learning-Modellen für identitätsbasierte Vision-Aufgaben entwickelt wurde. Es bietet eine spezialisierte Toolbox für Person-Re-Identification und Fahrzeug-Re-Identification, die den Abgleich von Individuen und Fahrzeugen über nicht überlappende Kameraansichten hinweg ermöglicht. Das Projekt enthält Tools zur Erkennung von Personenattributen, um spezifische physische Merkmale und Eigenschaften zu identifizieren. Es verfügt über einen modularen Model-Zoo, der den Austausch und das Benchmarking verschiedener Re-Identification-Architekturen ermöglicht. Das Framework deckt eine groß angelegte Entwicklungsinfrastruktur ab, einschließlich verteiltem Training über mehrere GPUs, Mixed-Precision-Training und Knowledge Distillation, um Repräsentationen von komplexen Netzwerken auf kleinere Student-Modelle zu übertragen. Es bietet zudem eine Hyperparameter-Optimierungsschleife, eine Multi-Dataset-Evaluierungs-Engine und Pipelines für den Export von Modellen in Industriestandard-Formate für das Production-Deployment.

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu

This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov