Awesome GitHub RepositoriesMultimodal Frameworks

Jina is a cloud-native framework for building and deploying multimodal AI applications that process text, images, and audio across distributed microservices. It functions as an inference orchestrator and a distributed model gateway, providing a containerized stack to organize AI executors into operational pipelines. The system manages large language model workloads through token-streamed response delivery and dynamic batching to increase hardware throughput. It utilizes a protocol-agnostic communication layer to route data across different machine learning frameworks. The framework covers hi

Janus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec

NeMo is a multimodal AI framework and toolkit designed for the development, training, and scaling of large language models, generative AI systems, and speech-based models. It functions as an automatic speech recognition toolkit, a text-to-speech engine, and a framework for building models that process and generate combinations of text, image, and audio data. The project serves as a conversational AI orchestrator capable of managing real-time, interruptible voice interactions. It provides specialized workflows for speech translation, converting spoken audio from one language into text or speec

LAVIS is a multimodal large language model framework and vision-language model library. It provides tools for training and evaluating models that integrate visual, textual, and audio data, serving as a cross-modal feature extractor and a zero-shot visual reasoning engine. The framework distinguishes itself by using frozen-backbone integration, where pretrained encoders remain non-trainable while lightweight adapter layers are updated. It employs cross-modal feature alignment to map different representations into a shared embedding space and utilizes a modular model wrapper to swap vision and

This project is a large language model inference library and framework designed to run models for text generation, problem solving, and coding assistance. It includes a multimodal framework for processing combined image and text inputs and a tool-use implementation that enables the execution of external functions based on model reasoning. The system features a distributed GPU inference engine that spreads large model workloads across multiple graphics processors to increase processing speed and meet memory requirements. It also provides containerized model deployment through pre-packaged imag

LMFlow is a comprehensive suite for large language model fine-tuning, context extension, multimodal processing, and inference execution. It provides a toolkit for updating model parameters through full tuning or memory-efficient adapter algorithms, alongside an inference engine for executing tuned models via command-line or web-based interfaces. The framework includes a dedicated alignment suite for supervised tuning and reward model training to refine model behavior. It features a context window extender to increase maximum input lengths and a multimodal framework for building chatbots that

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

Nexent est un plan de contrôle d'IA d'entreprise et une plateforme d'orchestration d'agents LLM. Elle fournit un environnement zéro-code pour concevoir, déployer et gérer des agents d'IA en production via un framework de collaboration multi-agents qui coordonne des agents autonomes spécialisés en utilisant des protocoles de messagerie standardisés. La plateforme intègre le Model Context Protocol pour connecter les agents avec des outils, plugins et services externes via une interface de communication universelle. Elle se distingue en outre par un gestionnaire de base de connaissances RAG dédié qui importe des documents non structurés et utilise la recherche hybride pour fournir un contexte fondé pour les réponses du modèle. Le système couvre un large éventail de capacités, notamment le contrôle d'accès multi-tenant basé sur les rôles, l'interaction multimodale via texte, voix et images, et la récupération vectorielle hybride. Il inclut également une place de marché pour la distribution et la découverte d'agents, ainsi que des outils d'observabilité pour capturer les traces d'exécution. La plateforme prend en charge le déploiement sécurisé via un packaging hors ligne conteneurisé pour les infrastructures isolées (air-gapped).

LLaVA-NeXT est un framework de modèle de langage multimodal et une boîte à outils d'entraînement conçus pour traiter des séquences entrelacées d'images et de vidéos afin de générer du texte. Il fonctionne comme un modèle de langage visuel qui combine des encodeurs de vision avec des modèles de langage pour effectuer des raisonnements complexes, répondre à des questions et comprendre la vidéo. Le système est capable d'analyser des images haute résolution et des trames vidéo temporelles pour décrire des événements, résumer des actions et raisonner à travers plusieurs entrées visuelles. Il prend en charge l'interprétation de documents et de graphiques, l'analyse de l'environnement spatial et la génération de légendes descriptives pour les images et les vidéos. Le framework inclut des outils pour ajuster les modèles multimodaux via l'optimisation des préférences afin de réduire les hallucinations et améliorer la précision. Il fournit également un serveur d'inférence pour déployer ces capacités en tant que service API via un backend HTTP.

This project is a PyTorch-based generative model framework designed to transform noise into complex data distributions by learning vector fields and probability paths. It serves as a multimodal generative toolkit for producing synthetic text and images through learned probability flows. The library distinguishes itself by supporting continuous, discrete, and Riemannian manifold integrations. This allows the framework to handle a variety of data types, including categorical data via discrete-state flow matching and non-Euclidean spaces through Riemannian manifold integration. The toolkit cove

Spark NLP est une boîte à outils pour l'analyse de texte évolutive et l'apprentissage automatique construite sur le framework de calcul distribué Apache Spark. Il fournit un framework d'apprentissage automatique multimodal et un système de pipeline distribué pour séquencer les annotateurs afin de traiter des données linguistiques à grande échelle. La bibliothèque inclut un processeur de texte transformer pour générer des embeddings vectoriels contextuels et un moteur d'inférence dédié pour gérer les grands modèles de langage. Le projet se distingue par sa capacité à traiter des types de données hétérogènes, y compris le texte, l'audio et les images, au sein d'une architecture vision-langage unifiée. Il prend en charge des capacités avancées d'IA générative telles que le prompt engineering, l'extraction d'entités structurées avec sortie JSON contrainte, et l'inférence locale pour éliminer la latence réseau. De plus, il fournit des outils pour la traduction inter-langues et la classification zero-shot à travers les modalités texte et image. Le framework couvre un large éventail de capacités, y compris l'entraînement de modèles supervisés pour la reconnaissance d'entités et l'analyse de sentiment, ainsi que la réponse aux questions extractive et la synthèse de documents. Il intègre la prise en charge des bases de données vectorielles pour la recherche de similarité et offre une infrastructure pour l'accélération GPU et la gestion du cycle de vie des modèles via un registre centralisé. La boîte à outils permet la distribution de modèles et de pipelines personnalisés via un dépôt public et prend en charge le déploiement de modèles via des API REST.

LLamaSharp is a .NET LLM inference library and local runtime that enables the execution of large language models on CPU and GPU hardware. It serves as a multimodal AI library capable of processing both text and image inputs to generate analytical textual responses without relying on external APIs. The project distinguishes itself as a grammar-based text generator that enforces specific output formats, such as JSON, through constrained sampling pipelines. It also functions as a retrieval augmented generation framework integration, allowing the combination of local inference with external data