Awesome GitHub RepositoriesComplex Query Inference

mm-cot ist ein Framework für multimodales Sprachmodell-Reasoning, das für das Training und die Evaluierung von Modellen entwickelt wurde, die Chain-of-Thought-Reasoning über Text- und Bilddaten hinweg durchführen. Es bietet Kernsysteme zur Implementierung schrittweiser logischer Begründungen zur Verbesserung der Vorhersagegenauigkeit, einschließlich eines Vision-Language-Modell-Trainers und eines multimodalen Benchmark-Evaluators. Das Framework zeichnet sich durch einen entkoppelten Prozess zur Generierung von Begründungen aus, der das Training logischer Rechtfertigungen von der Inferenz der finalen Antworten trennt. Es nutzt Vision-Transformer-Merkmalsextraktion und Bildbeschreibung (Image Captioning), um rohe visuelle Daten in Embeddings und textuellen Kontext für die nachgelagerte linguistische Verarbeitung umzuwandeln. Das Projekt deckt breite Funktionsbereiche ab, einschließlich multimodaler Eingabekodierung, Reasoner-Training und Inferenz-Ausführung. Es enthält zudem Tools für die Evaluierung semantischer Ähnlichkeit und vorlagenbasiertes Prompt-Formatting, um konsistente Reasoning-Muster über standardisierte Benchmarks hinweg sicherzustellen.