Awesome GitHub RepositoriesReasoning Optimization

DeepSeek-R1 is an open-weights large language model focused on advanced reasoning. It uses chain-of-thought processing and internal monologues to solve complex mathematical and logical problems by breaking tasks into sequential, verifiable thought processes. The model is developed using reinforcement learning to optimize reasoning patterns and verify logical steps. It employs a distillation process to transfer these high-performance logic capabilities from a large teacher model into smaller, computationally efficient versions. The training framework incorporates group relative policy optimiz

This library provides a comprehensive framework for fine-tuning, aligning, and distilling transformer-based language models. It serves as a toolkit for adapting models to specialized domains through supervised learning, while offering advanced methodologies to improve output quality and reasoning capabilities. The project distinguishes itself through specialized alignment and optimization techniques, including direct preference optimization and reinforcement learning, which allow models to be tuned against human preferences without complex reward modeling. It further supports training efficie

VLM-R1 est un modèle de raisonnement vision-langage et un framework d'IA incarnée conçu pour mapper des entrées visuelles et des instructions linguistiques en points de navigation physiques et en actions robotiques. Il fonctionne comme un optimiseur de politique multimodal et un détecteur à vocabulaire ouvert capable de localiser des objets basés sur des descriptions arbitraires en langage naturel. Le système se distingue par l'utilisation du raisonnement par chaîne de pensée (chain-of-thought) et de l'apprentissage par renforcement pour résoudre des tâches visuelles et spatiales complexes. Il utilise un système de mémoire sémantique vidéo, qui emploie un cache visuel pour maintenir un historique de la vidéo en direct pour une interaction à faible latence et un raisonnement temporel continu. Le framework couvre un large éventail de capacités, notamment le mappage de points de navigation monoculaires pour la robotique, la localisation par jetons de région pour l'identification d'objets, et le fine-tuning supervisé basé sur des politiques pour la stabilité du raisonnement multimodal. Il prend également en charge la détection à vocabulaire ouvert, la compréhension d'expressions référentielles et l'extraction de caractéristiques d'objets fines via la récupération par prompt visuel. Le projet est implémenté en Python et prend en charge l'inférence sur le matériel Ascend.

Ce projet est un framework de raisonnement et un orchestrateur d'agents qui implémente la méthodologie Tree of Thoughts pour améliorer la sortie logique des modèles de langage (LLM). Il fonctionne comme un solveur de problèmes basé sur la recherche, représentant des tâches complexes comme un modèle de branchement d'espace d'état où les pensées discrètes servent de nœuds et les transitions logiques servent d'arêtes. Le système coordonne plusieurs agents modèles pour générer, évaluer et élaguer les solutions candidates. Il emploie des heuristiques de recherche en profondeur et une évaluation récursive pour explorer plusieurs chemins de raisonnement, filtrant les branches de faible qualité pour itérer vers une solution optimale. Le framework couvre des capacités de haut niveau en optimisation du raisonnement et en orchestration multi-agents. Il se concentre sur la décomposition des tâches difficiles en pensées candidates et l'affinement de la sortie des modèles de langage via l'ingénierie de prompt itérative.

LLM-RL-Visualized is a visual reference library and collection of knowledge maps designed to explain Large Language Model and Reinforcement Learning algorithms. It provides a structured system of conceptual diagrams and taxonomies covering the intersection of language model alignment and reinforcement learning. The project distinguishes itself through detailed visual mappings of complex workflows, such as the coordination of reward models and policy optimization in reinforcement learning from human feedback. It contrasts different preference optimization architectures, such as RLHF and Direct

R1-V est une boîte à outils pour le développement de modèles multimodaux, offrant un environnement d'entraînement à faible coût conçu pour optimiser le raisonnement et les boucles de rétroaction des grands modèles vision-langage. Il intègre un framework d'entraînement, des pipelines de fine-tuning et des outils d'évaluation des performances. Le projet propose un framework d'apprentissage par renforcement qui améliore le raisonnement visuel et la généralisation en récompensant les sorties correctes basées sur une vérification visuelle. Il inclut également un pipeline de fine-tuning supervisé pour adapter les modèles vision-langage à des tâches spécifiques à l'aide de jeux de données étiquetés et de fichiers de configuration. La suite comprend des outils d'évaluation du raisonnement visuel et des jeux de données spécifiquement destinés à mesurer les performances des modèles sur des tâches de comptage et de géométrie.

simpleRL-reason is a training framework designed to improve mathematical and logical deduction in large language models. It utilizes reinforcement learning and policy optimization to enhance the accuracy and transparency of step-by-step deduction chains. The project implements a pipeline that establishes baseline capabilities through supervised fine-tuning before applying reinforcement learning to maximize deductive accuracy. It features a reward modeling toolkit that calculates scalar feedback by comparing generated reasoning steps against verified mathematical ground truths. The framework

OpenManus-RL is a reinforcement learning framework and distributed training pipeline designed to train large language models as agents. It serves as an agentic reasoning optimizer and reward model trainer, providing the infrastructure to improve model decision-making through reward-based policy optimization. The project distinguishes itself through a distributed architecture that supports parameter sharding across multiple compute nodes and a coordinated rollout system for collecting interaction trajectories. It incorporates advanced reasoning strategies, such as Tree-of-Thoughts and Monte Ca

This project is a technical resource and implementation guide for building transformer-based language model architectures and training pipelines from scratch. It focuses on the design of models capable of natural language processing, including the integration of pretrained weights and the creation of foundational model frameworks. The project specifically emphasizes logical reasoning and mathematical problem solving. It provides a framework for optimizing these capabilities through reinforcement learning and the use of automated verifiers to evaluate and reward correct reasoning paths. The r