7 Repos
Standardized implementations of learning algorithms designed for consistent research replication and comparison.
Distinct from Algorithm Implementations: Focuses on the standardization of RL APIs for benchmarking, not pedagogical implementations.
Explore 7 awesome GitHub repositories matching artificial intelligence & ml · Algorithm Benchmarking Libraries. Refine with filters or upvote what's useful.
Baselines is a comprehensive suite of frameworks for reinforcement learning algorithm implementation, imitation learning, and training orchestration. It provides a library of standardized learning algorithms used to benchmark and replicate research results, alongside a deep learning policy framework for constructing neural network architectures such as multi-layer perceptrons, convolutional networks, and long short-term memory networks. The project includes a specialized imitation learning toolkit that enables agents to mimic expert behavior through behavior cloning and generative adversarial
Provides a library of standardized learning algorithms used to benchmark and replicate research results.
Dieses Projekt ist eine Computer-Vision-Bibliothek für erklärbare KI und ein Framework für PyTorch, das eine Suite von Tools zur Visualisierung und Prüfung der internen Entscheidungsprozesse tiefer neuronaler Netze bereitstellt. Es dient als Attributions-Tool für neuronale Netze und Debugging-Dienstprogramm, um zu identifizieren, welche Bildregionen Modellvorhersagen steuern. Die Bibliothek zeichnet sich durch ihre Unterstützung sowohl für gradientenbasierte als auch für gradientenfreie Attributionsmethoden aus, was die Generierung visueller Heatmaps und Attributionskarten ermöglicht, ohne dass Änderungen am ursprünglichen Modellquellcode erforderlich sind. Sie differenziert sich zudem durch die Entdeckung visueller Konzepte, wobei Matrixfaktorisierung verwendet wird, um interne Aktivierungen in interpretierbare Muster zu zerlegen und latente Einbettungen auf Pixelwichtigkeit abzubilden. Das Framework deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Heatmap-Generierung und -Verfeinerung, räumlicher Transformation für Architekturen wie Vision-Transformer und Anpassungen für multimodale Vision-Ziele wie Objekterkennung und semantische Segmentierung. Es enthält zudem eine Suite zur Bewertung der Modelltreue, die Störungsanalysen, Ablationsstudien und Lokalisierungsmessungen verwendet, um die Genauigkeit generierter Erklärungen zu quantifizieren. Das Projekt bietet Mechanismen für dynamisches Aktivierungs-Hooking, benutzerdefinierte Architektur-Anpassung und zielorientierte Zielkonfiguration, um Erklärbarkeits-Tools mit verschiedenen Modellausgaben zu verbinden.
Benchmarks various attribution algorithms like GradCAM and ScoreCAM to evaluate their reliability and performance.
Captum is an open-source library for explaining model predictions by attributing them to input features, neurons, and layers using gradient-based and perturbation-based methods. It provides a modular framework for implementing, evaluating, and combining a range of explanation techniques, including gradient-based attribution, perturbation-based analysis, game-theoretic Shapley value approximation, and surrogate model explanations, with support for parallelization and noise stabilization. The library distinguishes itself through its breadth of attribution methods and its support for advanced in
Compares and evaluates custom interpretability methods against built-in attribution algorithms for reliability and performance.
Dieses Projekt ist eine PyTorch-Bibliothek für Reinforcement Learning und ein Framework für das Agententraining. Es bietet eine Suite von Deep-Reinforcement-Learning-Algorithmen, einschließlich DQN, PPO und SAC, um die Entwicklung autonomer Agenten zu erleichtern, die ihr Verhalten durch Versuch und Irrtum optimieren. Die Bibliothek konzentriert sich auf die Implementierung verschiedener Actor-Critic-Methoden und Deep-Learning-Architekturen für die Forschung an autonomer Entscheidungsfindung. Sie ermöglicht das Training intelligenter Agenten in verschiedenen Umgebungen durch die Nutzung von PyTorch-basierten Modellimplementierungen. Die Codebasis deckt grundlegende Reinforcement-Learning-Fähigkeiten ab, einschließlich Policy-Gradient-Optimierung, Experience-Replay-Puffer und Entkopplung von Zielnetzwerken. Sie unterstützt zudem asynchrones Training mit mehreren Workern und stochastisches Policy-Sampling, um die Konvergenz der Agenten und die Exploration der Umgebung zu steuern.
Provides a suite of deep RL implementations including DQN, PPO, and SAC for autonomous decision research.
Acme ist ein Framework für Reinforcement Learning und eine Ausführungsumgebung, die für die Entwicklung und das Benchmarking von Lernalgorithmen konzipiert wurde. Es bietet eine Bibliothek modularer Komponenten und Referenzimplementierungen, mit denen Agenten erstellt und Performance-Baselines etabliert werden können. Das System ermöglicht die Skalierung von Agenten-Architekturen von der Single-Stream-Ausführung bis hin zu großen verteilten Umgebungen. Dies erlaubt den Übergang vom ersten Prototyping zur verteilten Ausführung für Training und Evaluierung. Das Framework deckt die Entwicklung von Reinforcement Learning und das Prototyping von Agenten-Architekturen ab und liefert die notwendigen Bausteine, um neue Modelle gegen Standard-Referenzagenten zu benchen.
Implements toolkits for benchmarking new reinforcement learning algorithms against standard reference agents.
RLcard is an open-source framework for developing and evaluating reinforcement learning agents across multiple card game environments. It functions as a card game environment simulator, a multi-agent RL platform, and a benchmarking toolkit for algorithms like DQN, NFSP, and CFR. The framework provides a game-agnostic environment interface that decouples agent logic from game mechanics, allowing any policy to interact through a common API. It supports pluggable reinforcement learning algorithms that operate on this interface without modifying game logic, and includes a self-play training loop
A toolkit for benchmarking reinforcement learning algorithms like DQN, NFSP, and CFR across standardized card game tasks.
This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov
Ships a specialized benchmarking suite for evaluating RL agent success using statistically robust metrics.