1 Repo
Awesome GitHub RepositoriesMultimodal
Improving vision-language model accuracy using reinforcement learning and chain-of-thought processing.
Distinct from Reasoning Optimization: Specializes reasoning optimization specifically for multimodal (vision-language) contexts rather than general reasoning models.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Multimodal. Refine with filters or upvote what's useful.
Awesome Multimodal GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- om-ai-lab/vlm-r1
om-ai-lab/VLM-R1
5,991Auf GitHub ansehenVLM-R1 ist ein Reasoning-Vision-Language-Modell und ein Framework für verkörperte KI (Embodied AI), das darauf ausgelegt ist, visuelle Eingaben und Sprachanweisungen in physische Navigations-Wegpunkte und Roboteraktionen umzusetzen. Es fungiert als multimodaler Policy-Optimierer und Open-Vocabulary-Detektor, der Objekte basierend auf beliebigen natürlichsprachlichen Beschreibungen lokalisieren kann. Das System zeichnet sich durch den Einsatz von Chain-of-Thought-Reasoning und Reinforcement Learning zur Lösung komplexer visueller und räumlicher Aufgaben aus. Es nutzt ein Video-Semantik-Gedächtnissystem, das einen visuellen Cache verwendet, um eine Historie des Live-Videos für latenzarme Interaktion und kontinuierliches zeitliches Schlussfolgern aufrechtzuerhalten. Das Framework deckt ein breites Spektrum an Funktionen ab, darunter monokulare Wegpunkt-Kartierung für die Roboternavigation, Region-Token-Lokalisierung für die Objektidentifikation und Policy-basiertes Supervised Fine-Tuning für die Stabilität multimodaler Schlussfolgerungen. Es unterstützt zudem Open-Vocabulary-Detektion, Referring-Expression-Comprehension und die Extraktion feingranularer Objektmerkmale durch visuelle Prompt-Retrieval. Das Projekt ist in Python implementiert und unterstützt die Inferenz auf Ascend-Hardware.
Improves the accuracy of vision language models using reinforcement learning and chain of thought processing.
Python
