Awesome GitHub RepositoriesAlgorithm Benchmarking Libraries

Baselines is a comprehensive suite of frameworks for reinforcement learning algorithm implementation, imitation learning, and training orchestration. It provides a library of standardized learning algorithms used to benchmark and replicate research results, alongside a deep learning policy framework for constructing neural network architectures such as multi-layer perceptrons, convolutional networks, and long short-term memory networks. The project includes a specialized imitation learning toolkit that enables agents to mimic expert behavior through behavior cloning and generative adversarial

Este proyecto es una biblioteca y framework de IA explicable de visión por computadora para PyTorch, que proporciona un conjunto de herramientas para visualizar y auditar los procesos internos de toma de decisiones de las redes neuronales profundas. Sirve como una herramienta de atribución de red neuronal y utilidad de depuración para identificar qué regiones de la imagen impulsan las predicciones del modelo. La biblioteca se distingue por su soporte para métodos de atribución basados en gradientes y sin gradientes, lo que permite la generación de mapas de calor visuales y mapas de atribución sin requerir modificaciones en el código fuente del modelo original. Se diferencia aún más a través del descubrimiento de conceptos visuales, utilizando factorización de matrices para descomponer activaciones internas en patrones interpretables y mapear incrustaciones latentes a la importancia de los píxeles. El framework cubre una amplia gama de capacidades, incluyendo generación y refinamiento de mapas de calor, transformación espacial para arquitecturas como transformadores de visión y adaptaciones para objetivos de visión multitarea como detección de objetos y segmentación semántica. También incluye una suite de evaluación de fidelidad del modelo que emplea análisis de perturbación, estudios de ablación y mediciones de localización para cuantificar la fidelidad de las explicaciones generadas. El proyecto proporciona mecanismos para el enganche dinámico de activación, adaptación de arquitectura personalizada y configuración de objetivos impulsada por objetivos para conectar herramientas de explicabilidad a varias salidas de modelos.

Captum is an open-source library for explaining model predictions by attributing them to input features, neurons, and layers using gradient-based and perturbation-based methods. It provides a modular framework for implementing, evaluating, and combining a range of explanation techniques, including gradient-based attribution, perturbation-based analysis, game-theoretic Shapley value approximation, and surrogate model explanations, with support for parallelization and noise stabilization. The library distinguishes itself through its breadth of attribution methods and its support for advanced in

Este proyecto es una biblioteca de aprendizaje por refuerzo de PyTorch y un framework de entrenamiento de agentes. Proporciona un conjunto de algoritmos de aprendizaje por refuerzo profundo, incluyendo DQN, PPO y SAC, para facilitar el desarrollo de agentes autónomos que optimizan el comportamiento mediante prueba y error. La biblioteca se centra en la implementación de varios métodos actor-crítico y arquitecturas de deep learning para la investigación en la toma de decisiones autónoma. Permite el entrenamiento de agentes inteligentes dentro de diversos entornos aprovechando implementaciones de modelos basadas en PyTorch. El código base cubre capacidades centrales de aprendizaje por refuerzo, incluyendo optimización de gradiente de política, buffers de experiencia-reproducción y desacoplamiento de red objetivo. También admite entrenamiento asíncrono de múltiples trabajadores y muestreo de políticas estocásticas para gestionar la convergencia del agente y la exploración del entorno.

Acme es un framework de aprendizaje por refuerzo y motor de ejecución diseñado para desarrollar y realizar benchmarks de algoritmos de aprendizaje. Proporciona una biblioteca de componentes modulares e implementaciones de referencia utilizadas para construir agentes y establecer líneas base de rendimiento. El sistema permite escalar arquitecturas de agentes desde la ejecución de flujo único hasta grandes entornos distribuidos. Esto facilita la transición desde el prototipado inicial hasta la ejecución distribuida para entrenamiento y evaluación. El framework cubre el desarrollo de aprendizaje por refuerzo y el prototipado de arquitecturas de agentes, proporcionando los bloques de construcción necesarios para comparar nuevos modelos frente a agentes de referencia estándar.

RLcard is an open-source framework for developing and evaluating reinforcement learning agents across multiple card game environments. It functions as a card game environment simulator, a multi-agent RL platform, and a benchmarking toolkit for algorithms like DQN, NFSP, and CFR. The framework provides a game-agnostic environment interface that decouples agent logic from game mechanics, allowing any policy to interact through a common API. It supports pluggable reinforcement learning algorithms that operate on this interface without modifying game logic, and includes a self-play training loop

This project is a collection of pretrained reinforcement learning agents and training scripts built on Stable Baselines3 and Gymnasium. It provides a framework for training agents to solve specific tasks, managing experiment reproducibility, and deploying pretrained models. The system includes a specialized benchmarking suite and optimization tools for tuning agent settings. It utilizes automated search spaces and distributed trials to maximize performance, while employing bootstrap sampling to generate statistically robust performance metrics and confidence intervals. Broad capabilities cov