Awesome GitHub RepositoriesReasoning Optimization

DeepSeek-R1 is an open-weights large language model focused on advanced reasoning. It uses chain-of-thought processing and internal monologues to solve complex mathematical and logical problems by breaking tasks into sequential, verifiable thought processes. The model is developed using reinforcement learning to optimize reasoning patterns and verify logical steps. It employs a distillation process to transfer these high-performance logic capabilities from a large teacher model into smaller, computationally efficient versions. The training framework incorporates group relative policy optimiz

This library provides a comprehensive framework for fine-tuning, aligning, and distilling transformer-based language models. It serves as a toolkit for adapting models to specialized domains through supervised learning, while offering advanced methodologies to improve output quality and reasoning capabilities. The project distinguishes itself through specialized alignment and optimization techniques, including direct preference optimization and reinforcement learning, which allow models to be tuned against human preferences without complex reward modeling. It further supports training efficie

VLM-R1 ist ein Reasoning-Vision-Language-Modell und ein Framework für verkörperte KI (Embodied AI), das darauf ausgelegt ist, visuelle Eingaben und Sprachanweisungen in physische Navigations-Wegpunkte und Roboteraktionen umzusetzen. Es fungiert als multimodaler Policy-Optimierer und Open-Vocabulary-Detektor, der Objekte basierend auf beliebigen natürlichsprachlichen Beschreibungen lokalisieren kann. Das System zeichnet sich durch den Einsatz von Chain-of-Thought-Reasoning und Reinforcement Learning zur Lösung komplexer visueller und räumlicher Aufgaben aus. Es nutzt ein Video-Semantik-Gedächtnissystem, das einen visuellen Cache verwendet, um eine Historie des Live-Videos für latenzarme Interaktion und kontinuierliches zeitliches Schlussfolgern aufrechtzuerhalten. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter monokulare Wegpunkt-Kartierung für die Roboternavigation, Region-Token-Lokalisierung für die Objektidentifikation und Policy-basiertes Supervised Fine-Tuning für die Stabilität multimodaler Schlussfolgerungen. Es unterstützt zudem Open-Vocabulary-Detektion, Referring-Expression-Comprehension und die Extraktion feingranularer Objektmerkmale durch visuelle Prompt-Retrieval. Das Projekt ist in Python implementiert und unterstützt die Inferenz auf Ascend-Hardware.

Dieses Projekt ist ein Reasoning-Framework und Agenten-Orchestrator, der die Tree-of-Thoughts-Methodik implementiert, um die logische Ausgabe von Large Language Models zu verbessern. Es fungiert als suchbasierter Problemlöser, der komplexe Aufgaben als Zustandsraum-Verzweigungsmodell darstellt, bei dem diskrete Gedanken als Knoten und logische Übergänge als Kanten dienen. Das System koordiniert mehrere Modell-Agenten, um Lösungskandidaten zu generieren, zu bewerten und zu beschneiden. Es verwendet Heuristiken für die Tiefensuche und rekursive Bewertung, um mehrere Reasoning-Pfade zu erkunden und minderwertige Zweige herauszufiltern, um iterativ zu einer optimalen Lösung zu gelangen. Das Framework deckt hochrangige Funktionen in der Reasoning-Optimierung und Multi-Agenten-Orchestrierung ab. Es konzentriert sich darauf, schwierige Aufgaben in Kandidaten-Gedanken zu zerlegen und die Ausgabe von Sprachmodellen durch iteratives Prompt-Engineering zu verfeinern.

LLM-RL-Visualized ist eine visuelle Referenzbibliothek und eine Sammlung von Wissenskarten, die Large Language Model- und Reinforcement Learning-Algorithmen erklären. Es bietet ein strukturiertes System aus konzeptionellen Diagrammen und Taxonomien, das die Schnittmenge von Sprachmodell-Alignment und Reinforcement Learning abdeckt. Das Projekt zeichnet sich durch detaillierte visuelle Mappings komplexer Workflows aus, wie etwa die Koordination von Reward-Modellen und Policy-Optimierung beim Reinforcement Learning from Human Feedback (RLHF). Es stellt verschiedene Preference-Optimization-Architekturen gegenüber, wie RLHF und Direct Preference Optimization, und zeichnet die theoretische Abstammung von Reinforcement-Learning-Algorithmen von Markov-Entscheidungsprozessen bis hin zu Actor-Critic-Frameworks nach. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, darunter LLM-Inferenzoptimierung, parameter-effiziente Fine-Tuning-Techniken und die sequenziellen Phasen der Modellentwicklungspipeline. Sie bietet zudem strukturelle Diagramme für Modellkonfigurationen, Visualisierungen von Token-Decoding-Strategien sowie operative Abläufe für Retrieval-Augmented Generation und Tool-Integration. Zusätzliche Inhalte umfassen Illustrationen grundlegender neuronaler Netzwerkoperationen und logischer Schlussmechanismen wie Monte Carlo Tree Search und Knowledge Distillation.

R1-V ist ein Toolset für die Entwicklung multimodaler Modelle. Es bietet eine kostengünstige Trainingsumgebung, die darauf ausgelegt ist, die Reasoning- und Feedback-Schleifen von Large Vision-Language Models zu optimieren. Es integriert ein Trainings-Framework, Fine-Tuning-Pipelines und Tools zur Leistungsbewertung. Das Projekt umfasst ein Reinforcement-Learning-Framework, das visuelles Schlussfolgern und Generalisierung verbessert, indem korrekte Ausgaben basierend auf visueller Verifizierung belohnt werden. Zudem enthält es eine Supervised-Fine-Tuning-Pipeline, um Vision-Language Models mithilfe von gelabelten Datensätzen und Konfigurationsdateien für spezifische Aufgaben anzupassen. Die Suite beinhaltet Tools zur Bewertung visueller Schlussfolgerungen sowie Datensätze, die speziell auf die Leistung von Modellen bei Zähl- und Geometrieaufgaben ausgerichtet sind.

simpleRL-reason is a training framework designed to improve mathematical and logical deduction in large language models. It utilizes reinforcement learning and policy optimization to enhance the accuracy and transparency of step-by-step deduction chains. The project implements a pipeline that establishes baseline capabilities through supervised fine-tuning before applying reinforcement learning to maximize deductive accuracy. It features a reward modeling toolkit that calculates scalar feedback by comparing generated reasoning steps against verified mathematical ground truths. The framework

OpenManus-RL is a reinforcement learning framework and distributed training pipeline designed to train large language models as agents. It serves as an agentic reasoning optimizer and reward model trainer, providing the infrastructure to improve model decision-making through reward-based policy optimization. The project distinguishes itself through a distributed architecture that supports parameter sharding across multiple compute nodes and a coordinated rollout system for collecting interaction trajectories. It incorporates advanced reasoning strategies, such as Tree-of-Thoughts and Monte Ca

This project is a technical resource and implementation guide for building transformer-based language model architectures and training pipelines from scratch. It focuses on the design of models capable of natural language processing, including the integration of pretrained weights and the creation of foundational model frameworks. The project specifically emphasizes logical reasoning and mathematical problem solving. It provides a framework for optimizing these capabilities through reinforcement learning and the use of automated verifiers to evaluate and reward correct reasoning paths. The r