Awesome GitHub RepositoriesMultimodal Frameworks

Jina is a cloud-native framework for building and deploying multimodal AI applications that process text, images, and audio across distributed microservices. It functions as an inference orchestrator and a distributed model gateway, providing a containerized stack to organize AI executors into operational pipelines. The system manages large language model workloads through token-streamed response delivery and dynamic batching to increase hardware throughput. It utilizes a protocol-agnostic communication layer to route data across different machine learning frameworks. The framework covers hi

Janus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec

NeMo is a multimodal AI framework and toolkit designed for the development, training, and scaling of large language models, generative AI systems, and speech-based models. It functions as an automatic speech recognition toolkit, a text-to-speech engine, and a framework for building models that process and generate combinations of text, image, and audio data. The project serves as a conversational AI orchestrator capable of managing real-time, interruptible voice interactions. It provides specialized workflows for speech translation, converting spoken audio from one language into text or speec

LAVIS is a multimodal large language model framework and vision-language model library. It provides tools for training and evaluating models that integrate visual, textual, and audio data, serving as a cross-modal feature extractor and a zero-shot visual reasoning engine. The framework distinguishes itself by using frozen-backbone integration, where pretrained encoders remain non-trainable while lightweight adapter layers are updated. It employs cross-modal feature alignment to map different representations into a shared embedding space and utilizes a modular model wrapper to swap vision and

Dieses Projekt ist eine Inference-Bibliothek und ein Framework für Large Language Models, das darauf ausgelegt ist, Modelle für Textgenerierung, Problemlösung und Coding-Assistenz auszuführen. Es enthält ein multimodales Framework für die Verarbeitung kombinierter Bild- und Texteingaben sowie eine Tool-Use-Implementierung, die die Ausführung externer Funktionen basierend auf Modell-Reasoning ermöglicht. Das System verfügt über eine verteilte GPU-Inference-Engine, die große Modell-Workloads auf mehrere Grafikprozessoren verteilt, um die Verarbeitungsgeschwindigkeit zu erhöhen und Speicheranforderungen zu erfüllen. Es bietet zudem containerisiertes Modell-Deployment durch vorverpackte Images und Abhängigkeiten für das Serving von Inference-Engines in isolierten Umgebungen. Die Bibliothek deckt eine Reihe von Funktionen ab, einschließlich multimodaler Eingabeanalyse, Integration von Function-Calling und Fill-in-the-Middle-Coding zur Vorhersage fehlender Code-Segmente. Zudem unterstützt sie interaktiven Modell-Chat via Command-Line-Interface für die Aufrechterhaltung von Konversationssitzungen.

LMFlow is a comprehensive suite for large language model fine-tuning, context extension, multimodal processing, and inference execution. It provides a toolkit for updating model parameters through full tuning or memory-efficient adapter algorithms, alongside an inference engine for executing tuned models via command-line or web-based interfaces. The framework includes a dedicated alignment suite for supervised tuning and reward model training to refine model behavior. It features a context window extender to increase maximum input lengths and a multimodal framework for building chatbots that

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

Nexent ist eine Enterprise-KI-Control-Plane und eine Plattform zur Orchestrierung von LLM-Agenten. Sie bietet eine Zero-Code-Umgebung zum Entwerfen, Bereitstellen und Verwalten von KI-Agenten in der Produktion durch ein Multi-Agent-Collaboration-Framework, das spezialisierte autonome Agenten mithilfe standardisierter Messaging-Protokolle koordiniert. Die Plattform integriert das Model Context Protocol, um Agenten mit externen Tools, Plugins und Diensten über eine universelle Kommunikationsschnittstelle zu verbinden. Sie zeichnet sich zudem durch einen dedizierten RAG-Knowledge-Base-Manager aus, der unstrukturierte Dokumente importiert und hybride Suche nutzt, um fundierten Kontext für Modellantworten bereitzustellen. Das System deckt ein breites Spektrum an Funktionen ab, darunter mandantenfähige rollenbasierte Zugriffskontrolle, multimodale Interaktion über Text, Sprache und Bilder sowie hybrides Vektor-Retrieval. Es enthält zudem einen Marktplatz für die Verteilung und Entdeckung von Agenten sowie Observability-Tools zur Erfassung von Ausführungs-Traces. Die Plattform unterstützt sichere Bereitstellung durch containerisierte Offline-Paketierung für Air-Gapped-Infrastrukturen.

LLaVA-NeXT ist ein multimodales Large-Language-Model-Framework und ein Trainings-Toolkit, das darauf ausgelegt ist, verschachtelte Bild- und Videosequenzen zu verarbeiten, um Text zu generieren. Es fungiert als visuelles Sprachmodell, das Vision-Encoder mit Sprachmodellen kombiniert, um komplexes Reasoning, Question-Answering und Videoverständnis durchzuführen. Das System ist in der Lage, hochauflösende Bilder und temporale Videoframes zu analysieren, um Ereignisse zu beschreiben, Aktionen zusammenzufassen und über mehrere visuelle Inputs hinweg zu schlussfolgern. Es unterstützt die Interpretation von Dokumenten und Diagrammen, räumliche Umgebungsanalyse sowie die Generierung beschreibender Bildunterschriften für Bilder und Videos. Das Framework enthält Tools zum Tuning multimodaler Modelle mittels Preference-Optimization, um Halluzinationen zu reduzieren und die Genauigkeit zu verbessern. Es bietet zudem einen Inference-Server, um diese Funktionen als API-Dienst via HTTP-Backend bereitzustellen.

Dieses Projekt ist ein auf PyTorch basierendes Framework für generative Modelle, das darauf ausgelegt ist, Rauschen in komplexe Datenverteilungen zu transformieren, indem es Vektorfelder und Wahrscheinlichkeitspfade erlernt. Es dient als multimodales generatives Toolkit zur Erzeugung synthetischer Texte und Bilder durch erlernte Wahrscheinlichkeitsflüsse. Die Bibliothek zeichnet sich durch die Unterstützung von kontinuierlichen, diskreten und Riemannschen Mannigfaltigkeits-Integrationen aus. Dadurch kann das Framework eine Vielzahl von Datentypen verarbeiten, einschließlich kategorialer Daten mittels Discrete-State Flow Matching und nicht-euklidischer Räume durch Riemannsche Mannigfaltigkeits-Integration. Das Toolkit deckt die gesamte generative Pipeline ab, einschließlich der Definition von Wahrscheinlichkeitspfaden, Vektorfeld-Regression und der Verwendung von Differentialgleichungslösern für das Data-Sampling. Diese Funktionen ermöglichen das Training und die Inferenz generativer Modelle, die in der Lage sind, synthetische Inhalte über mehrere Modalitäten hinweg zu generieren.

Spark NLP is a toolkit for scalable text analysis and machine learning built on the Apache Spark distributed computing framework. It provides a multimodal machine learning framework and a distributed pipeline system for sequencing annotators to process large-scale linguistic data. The library includes a transformer text processor for generating contextual vector embeddings and a dedicated inference engine for managing large language models. The project distinguishes itself through its ability to process heterogeneous data types, including text, audio, and images, within a unified vision-langu

LLamaSharp is a .NET LLM inference library and local runtime that enables the execution of large language models on CPU and GPU hardware. It serves as a multimodal AI library capable of processing both text and image inputs to generate analytical textual responses without relying on external APIs. The project distinguishes itself as a grammar-based text generator that enforces specific output formats, such as JSON, through constrained sampling pipelines. It also functions as a retrieval augmented generation framework integration, allowing the combination of local inference with external data