Awesome GitHub RepositoriesVision-Language-Action Training

XLeRobot ist eine Embodied-AI-Robotikplattform und ein Hardware-Ökosystem für die Entwicklung und den Einsatz autonomer Roboter. Es integriert eine mobile Zwei-Arm-Roboterplattform mit einem LLM-basierten Roboter-Controller, einer physikbasierten Simulationsumgebung und einem Teleoperations-Interface, um Anweisungen in natürlicher Sprache in physische Aktionen zu übersetzen. Das Projekt setzt auf kostengünstige Roboterfertigung mittels 3D-Druck und erschwinglicher Komponenten, um eine mobile Basis mit austauschbaren Armen und Greifern zu schaffen. Es bietet einen spezialisierten Teleoperations-Workflow, der die Fernsteuerung der Hardware via VR-Interfaces und Game-Controllern ermöglicht, um synchronisierte Sensordaten für Imitation Learning aufzuzeichnen. Das System deckt ein breites Spektrum an Funktionen ab, darunter das Training und den Einsatz von Vision-Language-Action-Modellen, Closed-Loop-Visual-Tracking und physikbasierte Simulation zur Verifizierung von AI-Policies. Zudem bietet es Tools zur Aufzeichnung von Trainingsdatensätzen und zur Steuerung von Peripheriegeräten für manuelle Manipulationen in Echtzeit.

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

Align-anything ist ein Framework für das Alignment von multimodalen Large Language Models, das für das Fine-Tuning von Modellen über Text, Bild, Video und Audio hinweg entwickelt wurde. Es fungiert als Orchestrator für verteiltes Training und als Toolkit zur Implementierung von präferenzbasiertem Lernen, um sicherzustellen, dass das Modellverhalten menschlichen Absichten und Werten entspricht. Das Framework bietet spezialisierte Pipelines für Supervised Fine-Tuning und Direct Preference Optimization. Es enthält einen leistungsstarken Inference-Engine-Wrapper für Actor-Modelle, um die Zeit für die Sequenzgenerierung zu verkürzen, sowie eine dedizierte Trainingsumgebung für die Verfeinerung von Vision-Language-Action-Modellen in der Robotik. Das System verwaltet die multimodale Datenverarbeitung über ein Command-Line-Interface und unterstützt das automatisierte Deployment von Trainings-Workloads auf Hardware-Clustern mit Ressourcenmanagement. Die Funktionen umfassen die Implementierung von Alignment-Algorithmen, multimodales Fine-Tuning und die Optimierung von Hardwareressourcen.

AgiBot-World is a suite of software pipelines and tools designed for robotic policy training, dataset standardization, embodiment transfer, and performance benchmarking. It provides infrastructure for developing bimanual manipulation policies using foundation models and human-reference trajectory data. The project features a robot embodiment transfer suite that adapts pre-trained models to different robot bodies without requiring new multi-embodiment training data. It also includes a specialized evaluation framework for validating vision-language-action models through open-loop testing and ph

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface