Awesome GitHub RepositoriesMultimodal Frameworks

Jina is a cloud-native framework for building and deploying multimodal AI applications that process text, images, and audio across distributed microservices. It functions as an inference orchestrator and a distributed model gateway, providing a containerized stack to organize AI executors into operational pipelines. The system manages large language model workloads through token-streamed response delivery and dynamic batching to increase hardware throughput. It utilizes a protocol-agnostic communication layer to route data across different machine learning frameworks. The framework covers hi

Janus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec

NeMo is a multimodal AI framework and toolkit designed for the development, training, and scaling of large language models, generative AI systems, and speech-based models. It functions as an automatic speech recognition toolkit, a text-to-speech engine, and a framework for building models that process and generate combinations of text, image, and audio data. The project serves as a conversational AI orchestrator capable of managing real-time, interruptible voice interactions. It provides specialized workflows for speech translation, converting spoken audio from one language into text or speec

LAVIS is a multimodal large language model framework and vision-language model library. It provides tools for training and evaluating models that integrate visual, textual, and audio data, serving as a cross-modal feature extractor and a zero-shot visual reasoning engine. The framework distinguishes itself by using frozen-backbone integration, where pretrained encoders remain non-trainable while lightweight adapter layers are updated. It employs cross-modal feature alignment to map different representations into a shared embedding space and utilizes a modular model wrapper to swap vision and

This project is a large language model inference library and framework designed to run models for text generation, problem solving, and coding assistance. It includes a multimodal framework for processing combined image and text inputs and a tool-use implementation that enables the execution of external functions based on model reasoning. The system features a distributed GPU inference engine that spreads large model workloads across multiple graphics processors to increase processing speed and meet memory requirements. It also provides containerized model deployment through pre-packaged imag

LMFlow is a comprehensive suite for large language model fine-tuning, context extension, multimodal processing, and inference execution. It provides a toolkit for updating model parameters through full tuning or memory-efficient adapter algorithms, alongside an inference engine for executing tuned models via command-line or web-based interfaces. The framework includes a dedicated alignment suite for supervised tuning and reward model training to refine model behavior. It features a context window extender to increase maximum input lengths and a multimodal framework for building chatbots that

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

Nexent is an enterprise AI control plane and LLM agent orchestration platform. It provides a zero-code environment for designing, deploying, and managing production AI agents through a multi-agent collaboration framework that coordinates specialized autonomous agents using standardized messaging protocols. The platform integrates the Model Context Protocol to connect agents with external tools, plugins, and services via a universal communication interface. It further distinguishes itself with a dedicated RAG knowledge base manager that imports unstructured documents and utilizes hybrid search

LLaVA-NeXT एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल फ्रेमवर्क और ट्रेनिंग टूलकिट है जिसे टेक्स्ट जनरेट करने के लिए इंटरलीव्ड इमेजेस और वीडियो सीक्वेंस को प्रोसेस करने के लिए डिज़ाइन किया गया है। यह एक विजुअल लैंग्वेज मॉडल के रूप में कार्य करता है जो जटिल तर्क, प्रश्न उत्तर, और वीडियो समझ को निष्पादित करने के लिए विजन एनकोडर्स को लैंग्वेज मॉडल्स के साथ जोड़ता है। यह सिस्टम घटनाओं का वर्णन करने, कार्यों का सारांश देने, और कई विजुअल इनपुट्स में तर्क करने के लिए हाई-रिज़ॉल्यूशन इमेजेस और टेम्पोरल वीडियो फ्रेम्स का विश्लेषण करने में सक्षम है। यह डॉक्यूमेंट्स और चार्ट्स की व्याख्या, स्थानिक वातावरण विश्लेषण, और इमेजेस और वीडियो दोनों के लिए वर्णनात्मक कैप्शन के जनरेशन को सपोर्ट करता है। इस फ्रेमवर्क में मतिभ्रम (hallucinations) को कम करने और सटीकता में सुधार करने के लिए प्रिफरेंस ऑप्टिमाइज़ेशन के माध्यम से मल्टीमॉडल मॉडल्स को ट्यून करने के लिए टूल्स शामिल हैं। यह इन क्षमताओं को HTTP बैकएंड के माध्यम से API सर्विस के रूप में डिप्लॉय करने के लिए एक इन्फरेंस सर्वर भी प्रदान करता है।

This project is a PyTorch-based generative model framework designed to transform noise into complex data distributions by learning vector fields and probability paths. It serves as a multimodal generative toolkit for producing synthetic text and images through learned probability flows. The library distinguishes itself by supporting continuous, discrete, and Riemannian manifold integrations. This allows the framework to handle a variety of data types, including categorical data via discrete-state flow matching and non-Euclidean spaces through Riemannian manifold integration. The toolkit cove

Spark NLP, Apache Spark वितरित कंप्यूटिंग फ्रेमवर्क पर निर्मित स्केलेबल टेक्स्ट विश्लेषण और मशीन लर्निंग के लिए एक टूलकिट है। यह बड़े पैमाने पर भाषाई डेटा को प्रोसेस करने के लिए एनोटेटर को अनुक्रमित करने के लिए एक मल्टीमॉडल मशीन लर्निंग फ्रेमवर्क और एक वितरित पाइपलाइन सिस्टम प्रदान करता है। लाइब्रेरी में प्रासंगिक वेक्टर एम्बेडिंग उत्पन्न करने के लिए एक ट्रांसफॉर्मर टेक्स्ट प्रोसेसर और बड़े भाषा मॉडल के प्रबंधन के लिए एक समर्पित अनुमान इंजन शामिल है। यह प्रोजेक्ट एक एकीकृत विज़न-भाषा आर्किटेक्चर के भीतर टेक्स्ट, ऑडियो और छवियों सहित विषम डेटा प्रकारों को प्रोसेस करने की अपनी क्षमता के माध्यम से खुद को अलग करता है। यह उन्नत जेनरेटिव AI क्षमताओं का समर्थन करता है जैसे कि प्रॉम्प्ट इंजीनियरिंग, प्रतिबंधित JSON आउटपुट के साथ संरचित एंटिटी निष्कर्षण, और नेटवर्क विलंबता को समाप्त करने के लिए स्थानीय अनुमान। इसके अतिरिक्त, यह टेक्स्ट और इमेज दोनों तौर-तरीकों में क्रॉस-भाषा अनुवाद और ज़ीरो-शॉट वर्गीकरण के लिए टूल प्रदान करता है। फ्रेमवर्क एंटिटी पहचान और भावना विश्लेषण के लिए पर्यवेक्षित मॉडल प्रशिक्षण, साथ ही निष्कर्षण प्रश्न उत्तर और दस्तावेज़ सारांश सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह समानता खोज के लिए वेक्टर डेटाबेस समर्थन को एकीकृत करता है और GPU त्वरण और केंद्रीकृत रजिस्ट्री के माध्यम से मॉडल लाइफसाइकिल प्रबंधन के लिए बुनियादी ढांचा प्रदान करता है। टूलकिट एक सार्वजनिक रिपॉजिटरी के माध्यम से कस्टम मॉडल और पाइपलाइनों के वितरण की अनुमति देता है और REST API के माध्यम से मॉडल की तैनाती का समर्थन करता है।

LLamaSharp is a .NET LLM inference library and local runtime that enables the execution of large language models on CPU and GPU hardware. It serves as a multimodal AI library capable of processing both text and image inputs to generate analytical textual responses without relying on external APIs. The project distinguishes itself as a grammar-based text generator that enforces specific output formats, such as JSON, through constrained sampling pipelines. It also functions as a retrieval augmented generation framework integration, allowing the combination of local inference with external data