Awesome GitHub RepositoriesReasoning Optimization

DeepSeek-R1 is an open-weights large language model focused on advanced reasoning. It uses chain-of-thought processing and internal monologues to solve complex mathematical and logical problems by breaking tasks into sequential, verifiable thought processes. The model is developed using reinforcement learning to optimize reasoning patterns and verify logical steps. It employs a distillation process to transfer these high-performance logic capabilities from a large teacher model into smaller, computationally efficient versions. The training framework incorporates group relative policy optimiz

This library provides a comprehensive framework for fine-tuning, aligning, and distilling transformer-based language models. It serves as a toolkit for adapting models to specialized domains through supervised learning, while offering advanced methodologies to improve output quality and reasoning capabilities. The project distinguishes itself through specialized alignment and optimization techniques, including direct preference optimization and reinforcement learning, which allow models to be tuned against human preferences without complex reward modeling. It further supports training efficie

VLM-R1 es un modelo de razonamiento visión-lenguaje y framework de IA corpórea (embodied AI) diseñado para mapear entradas visuales e instrucciones de lenguaje en puntos de navegación físicos y acciones robóticas. Funciona como un optimizador de políticas multimodal y un detector de vocabulario abierto capaz de localizar objetos basados en descripciones arbitrarias en lenguaje natural. El sistema se distingue por el uso de razonamiento de cadena de pensamiento (chain-of-thought) y aprendizaje por refuerzo para resolver tareas visuales y espaciales complejas. Utiliza un sistema de memoria semántica de video, que emplea una caché visual para mantener un historial de video en vivo para interacciones de baja latencia y razonamiento temporal continuo. El framework cubre una amplia gama de capacidades, incluyendo el mapeo de puntos de navegación monoculares para robótica, la localización de tokens de región para identificación de objetos y el ajuste fino supervisado basado en políticas para la estabilidad del razonamiento multimodal. También admite detección de vocabulario abierto, comprensión de expresiones de referencia y la extracción de características de objetos detalladas mediante recuperación de prompts visuales. El proyecto está implementado en Python y admite inferencia en hardware Ascend.

Este proyecto es un framework de razonamiento y orquestador de agentes que implementa la metodología Tree of Thoughts para mejorar la salida lógica de los modelos de lenguaje de gran tamaño. Funciona como un solucionador de problemas basado en búsqueda, representando tareas complejas como un modelo de ramificación de espacio de estados donde los pensamientos discretos sirven como nodos y las transiciones lógicas sirven como aristas. El sistema coordina múltiples agentes de modelos para generar, evaluar y podar soluciones candidatas. Emplea heurísticas de búsqueda en profundidad y evaluación recursiva para explorar múltiples rutas de razonamiento, filtrando ramas de baja calidad para iterar hacia una solución óptima. El framework cubre capacidades de alto nivel en optimización del razonamiento y orquestación multi-agente. Se centra en desglosar tareas difíciles en pensamientos candidatos y refinar la salida de los modelos de lenguaje a través de ingeniería de prompts iterativa.

LLM-RL-Visualized es una biblioteca de referencia visual y colección de mapas de conocimiento diseñados para explicar algoritmos de Modelos de Lenguaje Extensos (LLM) y Aprendizaje por Refuerzo. Proporciona un sistema estructurado de diagramas conceptuales y taxonomías que cubren la intersección de la alineación de modelos de lenguaje y el aprendizaje por refuerzo. El proyecto se distingue por mapeos visuales detallados de flujos de trabajo complejos, como la coordinación de modelos de recompensa y la optimización de políticas en el aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). Contrasta diferentes arquitecturas de optimización de preferencias, como RLHF y Direct Preference Optimization (DPO), y traza el linaje teórico de los algoritmos de aprendizaje por refuerzo desde Procesos de Decisión de Markov hasta frameworks Actor-Critic. La biblioteca cubre una amplia gama de capacidades, incluyendo optimización de inferencia de LLM, técnicas de ajuste fino eficiente en parámetros y las etapas secuenciales del pipeline de desarrollo de modelos. También proporciona diagramas estructurales para configuraciones de modelos, visualizaciones de estrategias de decodificación de tokens y flujos operativos para generación aumentada por recuperación (RAG) e integración de herramientas. El contenido adicional incluye ilustraciones de operaciones fundamentales de redes neuronales y mecanismos de razonamiento lógico como Monte Carlo Tree Search y destilación de conocimiento.

R1-V es un conjunto de herramientas para el desarrollo de modelos multimodales, que proporciona un entorno de entrenamiento de bajo coste diseñado para optimizar los bucles de razonamiento y retroalimentación de modelos grandes de visión-lenguaje. Integra un framework de entrenamiento, pipelines de ajuste fino (fine-tuning) y herramientas de evaluación de rendimiento. El proyecto cuenta con un framework de aprendizaje por refuerzo que mejora el razonamiento visual y la generalización al recompensar las salidas correctas basadas en verificación visual. También incluye un pipeline de ajuste fino supervisado para personalizar modelos de visión-lenguaje en tareas específicas mediante datasets etiquetados y archivos de configuración. La suite abarca herramientas de evaluación de razonamiento visual y datasets específicos para evaluar el rendimiento del modelo en tareas de conteo y geometría.

simpleRL-reason is a training framework designed to improve mathematical and logical deduction in large language models. It utilizes reinforcement learning and policy optimization to enhance the accuracy and transparency of step-by-step deduction chains. The project implements a pipeline that establishes baseline capabilities through supervised fine-tuning before applying reinforcement learning to maximize deductive accuracy. It features a reward modeling toolkit that calculates scalar feedback by comparing generated reasoning steps against verified mathematical ground truths. The framework

OpenManus-RL is a reinforcement learning framework and distributed training pipeline designed to train large language models as agents. It serves as an agentic reasoning optimizer and reward model trainer, providing the infrastructure to improve model decision-making through reward-based policy optimization. The project distinguishes itself through a distributed architecture that supports parameter sharding across multiple compute nodes and a coordinated rollout system for collecting interaction trajectories. It incorporates advanced reasoning strategies, such as Tree-of-Thoughts and Monte Ca

This project is a technical resource and implementation guide for building transformer-based language model architectures and training pipelines from scratch. It focuses on the design of models capable of natural language processing, including the integration of pretrained weights and the creation of foundational model frameworks. The project specifically emphasizes logical reasoning and mathematical problem solving. It provides a framework for optimizing these capabilities through reinforcement learning and the use of automated verifiers to evaluate and reward correct reasoning paths. The r