Awesome GitHub RepositoriesReasoning Optimization

DeepSeek-R1 is an open-weights large language model focused on advanced reasoning. It uses chain-of-thought processing and internal monologues to solve complex mathematical and logical problems by breaking tasks into sequential, verifiable thought processes. The model is developed using reinforcement learning to optimize reasoning patterns and verify logical steps. It employs a distillation process to transfer these high-performance logic capabilities from a large teacher model into smaller, computationally efficient versions. The training framework incorporates group relative policy optimiz

This library provides a comprehensive framework for fine-tuning, aligning, and distilling transformer-based language models. It serves as a toolkit for adapting models to specialized domains through supervised learning, while offering advanced methodologies to improve output quality and reasoning capabilities. The project distinguishes itself through specialized alignment and optimization techniques, including direct preference optimization and reinforcement learning, which allow models to be tuned against human preferences without complex reward modeling. It further supports training efficie

VLM-R1 هو نموذج رؤية ولغوي استنتاجي وإطار عمل للذكاء الاصطناعي المتجسد مصمم لربط المدخلات المرئية والتعليمات اللغوية بنقاط طريق مادية وإجراءات روبوتية. يعمل كمحسن سياسات متعدد الوسائط وكاشف مفتوح المفردات قادر على تحديد موقع الكائنات بناءً على أوصاف لغوية طبيعية اعتباطية. يتميز النظام باستخدام استنتاج سلسلة الأفكار والتعلم التعزيزي لحل المهام المرئية والمكانية المعقدة. ويستخدم نظام ذاكرة دلالية للفيديو، والذي يوظف ذاكرة تخزين مؤقت مرئية للحفاظ على سجل للفيديو المباشر من أجل تفاعل منخفض التأخير واستنتاج زمني مستمر. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك رسم خرائط نقاط الطريق أحادية العين للملاحة الروبوتية، وتحديد موقع رموز المنطقة لتعريف الكائنات، والضبط الدقيق الخاضع للإشراف القائم على السياسات لاستقرار الاستنتاج متعدد الوسائط. كما يدعم الكشف مفتوح المفردات، وفهم تعبيرات الإشارة، واستخراج ميزات الكائنات الدقيقة من خلال استرجاع المطالبات المرئية. تم تنفيذ المشروع بلغة Python ويدعم الاستنتاج على أجهزة Ascend.

هذا المشروع عبارة عن إطار عمل استنتاجي ومنسق وكيل ينفذ منهجية شجرة الأفكار لتحسين المخرجات المنطقية للنماذج اللغوية الكبيرة. يعمل كحل للمشكلات قائم على البحث، حيث يمثل المهام المعقدة كنموذج تفرع فضاء الحالة حيث تعمل الأفكار المنفصلة كعقد وتعمل الانتقالات المنطقية كحواف. ينسق النظام وكلاء نموذج متعددين لتوليد وتقييم وتقليم الحلول المرشحة. يستخدم استدلالات البحث في العمق والتقييم العودي لاستكشاف مسارات استنتاج متعددة، وتصفية الفروع منخفضة الجودة للتكرار نحو حل مثالي. يغطي إطار العمل قدرات عالية المستوى في تحسين الاستنتاج وتنسيق الوكلاء المتعددين. يركز على تقسيم المهام الصعبة إلى أفكار مرشحة وتحسين مخرجات النماذج اللغوية من خلال هندسة المطالبات التكرارية.

LLM-RL-Visualized هي مكتبة مرجعية مرئية ومجموعة من خرائط المعرفة المصممة لشرح خوارزميات النماذج اللغوية الكبيرة (LLM) والتعلم التعزيزي (Reinforcement Learning). توفر نظاماً مهيكلاً من الرسوم البيانية المفاهيمية والتصنيفات التي تغطي تقاطع مواءمة النماذج اللغوية والتعلم التعزيزي. يتميز المشروع بالخرائط المرئية التفصيلية لسير العمل المعقد، مثل تنسيق نماذج المكافآت وتحسين السياسات في التعلم التعزيزي من التغذية الراجعة البشرية. يقارن بين بنيات تحسين التفضيلات المختلفة، مثل RLHF وDirect Preference Optimization، ويتتبع النسب النظري لخوارزميات التعلم التعزيزي من عمليات قرار ماركوف إلى أطر عمل Actor-Critic. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك تحسين استنتاج LLM، وتقنيات الضبط الدقيق الفعالة للمعلمات، والمراحل المتسلسلة لخط تطوير النموذج. كما توفر رسوماً بيانية هيكلية لتكوينات النموذج، وتصورات لاستراتيجيات فك تشفير الرموز، وسير العمل التشغيلي للتوليد المعزز بالاسترجاع (RAG) وتكامل الأدوات. يتضمن المحتوى الإضافي توضيحات لعمليات الشبكات العصبية الأساسية وآليات التفكير المنطقي مثل بحث شجرة مونت كارلو وتقطير المعرفة.

R1-V is a toolset for the development of multimodal models, providing a low-cost training environment designed to optimize the reasoning and feedback loops of large vision-language models. It integrates a training framework, fine-tuning pipelines, and performance evaluation tools. The project features a reinforcement learning framework that improves visual reasoning and generalization by rewarding correct outputs based on visual verification. It also includes a supervised fine-tuning pipeline for customizing vision-language models to specific tasks using labeled datasets and configuration fil

simpleRL-reason is a training framework designed to improve mathematical and logical deduction in large language models. It utilizes reinforcement learning and policy optimization to enhance the accuracy and transparency of step-by-step deduction chains. The project implements a pipeline that establishes baseline capabilities through supervised fine-tuning before applying reinforcement learning to maximize deductive accuracy. It features a reward modeling toolkit that calculates scalar feedback by comparing generated reasoning steps against verified mathematical ground truths. The framework

OpenManus-RL is a reinforcement learning framework and distributed training pipeline designed to train large language models as agents. It serves as an agentic reasoning optimizer and reward model trainer, providing the infrastructure to improve model decision-making through reward-based policy optimization. The project distinguishes itself through a distributed architecture that supports parameter sharding across multiple compute nodes and a coordinated rollout system for collecting interaction trajectories. It incorporates advanced reasoning strategies, such as Tree-of-Thoughts and Monte Ca

This project is a technical resource and implementation guide for building transformer-based language model architectures and training pipelines from scratch. It focuses on the design of models capable of natural language processing, including the integration of pretrained weights and the creation of foundational model frameworks. The project specifically emphasizes logical reasoning and mathematical problem solving. It provides a framework for optimizing these capabilities through reinforcement learning and the use of automated verifiers to evaluate and reward correct reasoning paths. The r