1 个仓库
Awesome GitHub RepositoriesMultimodal
Improving vision-language model accuracy using reinforcement learning and chain-of-thought processing.
Distinct from Reasoning Optimization: Specializes reasoning optimization specifically for multimodal (vision-language) contexts rather than general reasoning models.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multimodal. Refine with filters or upvote what's useful.
Awesome Multimodal GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- om-ai-lab/vlm-r1
om-ai-lab/VLM-R1
5,991在 GitHub 上查看VLM-R1 是一个推理视觉语言模型和具身智能框架，旨在将视觉输入和语言指令映射为物理导航路径点和机器人动作。它作为一个多模态策略优化器和开放词汇检测器，能够根据任意自然语言描述定位物体。 该系统的独特之处在于使用思维链推理和强化学习来解决复杂的视觉和空间任务。它利用视频语义记忆系统，该系统采用视觉缓存来维护实时视频历史记录，以实现低延迟交互和持续的时间推理。 该框架涵盖了广泛的功能，包括用于机器人导航的单目路径点映射、用于物体识别的区域标记定位，以及用于多模态推理稳定性的基于策略的监督微调。它还支持开放词汇检测、指代表达理解，以及通过视觉提示检索提取细粒度物体特征。 该项目使用 Python 实现，并支持在 Ascend 硬件上进行推理。
Improves the accuracy of vision language models using reinforcement learning and chain of thought processing.
Python
