Awesome GitHub RepositoriesMultimodal

VLM-R1 es un modelo de razonamiento visión-lenguaje y framework de IA corpórea (embodied AI) diseñado para mapear entradas visuales e instrucciones de lenguaje en puntos de navegación físicos y acciones robóticas. Funciona como un optimizador de políticas multimodal y un detector de vocabulario abierto capaz de localizar objetos basados en descripciones arbitrarias en lenguaje natural. El sistema se distingue por el uso de razonamiento de cadena de pensamiento (chain-of-thought) y aprendizaje por refuerzo para resolver tareas visuales y espaciales complejas. Utiliza un sistema de memoria semántica de video, que emplea una caché visual para mantener un historial de video en vivo para interacciones de baja latencia y razonamiento temporal continuo. El framework cubre una amplia gama de capacidades, incluyendo el mapeo de puntos de navegación monoculares para robótica, la localización de tokens de región para identificación de objetos y el ajuste fino supervisado basado en políticas para la estabilidad del razonamiento multimodal. También admite detección de vocabulario abierto, comprensión de expresiones de referencia y la extracción de características de objetos detalladas mediante recuperación de prompts visuales. El proyecto está implementado en Python y admite inferencia en hardware Ascend.