Awesome GitHub RepositoriesMulti-Modal Embedding Models

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

lmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Gemma ist eine Familie von Open-Weights Large Language Models, die auf einer Decoder-only-Transformer-Architektur basieren. Diese Modelle sind für Textgenerierung und multimodale Konversationen konzipiert und in der Lage, Antworten basierend auf sowohl textuellen als auch visuellen Eingabesequenzen zu verarbeiten und zu generieren. Das Projekt bietet ein feinabgestimmtes KI-Modell, das Gewichtsanpassungen und Low-Rank-Adaption unterstützt, um die Leistung für bestimmte Aufgaben zu spezialisieren. Es beinhaltet Unterstützung für quantisierte Gewichte, um den Speicherverbrauch zu reduzieren und die Inferenzgeschwindigkeit auf begrenzter Hardware zu erhöhen. Die Funktionspalette deckt multimodale KI-Integration, Speicheroptimierung durch Parameter-Sharding sowie die Integration externer Tools und APIs zum Abrufen von Echtzeitdaten ab. Es ermöglicht zudem die Generierung von Bildern aus Text und das Sampling strukturierter Textausgaben.

DeepSeek-VL2 ist ein multimodales Large Language Model und Vision-Language-System, das darauf ausgelegt ist, visuelle Szenen zu analysieren und beschreibenden Text zu generieren. Es fungiert als Modell für visuelle Fragenbeantwortung (VQA) und visuelle Verankerung (Visual Grounding), das in der Lage ist, Informationen aus Dokumenten zu extrahieren und spezifische Objekte oder Regionen innerhalb von Bildern basierend auf textuellen Beschreibungen zu lokalisieren. Das Projekt nutzt eine Mixture-of-Experts-Architektur, um kombinierte Bild- und Texteingaben zu verarbeiten. Es ist für die Inferenz durch inkrementelles Prefilling optimiert, was den GPU-Speicherbedarf auf Hardware reduziert. Das Modell deckt multimodale Datenanalyse und visuelles Dokumentenverständnis ab, einschließlich der Interpretation von Diagrammen und Layouts. Es führt visuelle Inferenz und Verankerung durch, um textuelle Anfragen mit entsprechenden visuellen Inhalten abzugleichen.

LightGlue ist ein Deep-Learning-Framework für lokales Feature-Matching und die hochpräzise Korrespondenzschätzung zwischen Bildpaaren. Es fungiert als Computer-Vision-Matching-Modell, das korrespondierende Keypoints über verschiedene Blickwinkel hinweg identifiziert. Das System nutzt eine adaptive neuronale Netzwerkarchitektur, die die Inferenzgeschwindigkeit dynamisch optimiert, indem sie ihre eigene Tiefe und Breite basierend auf den Eingabebildpaaren anpasst. Dieser Ansatz verwendet einen Transformer-basierten Aufmerksamkeitsmechanismus und Cross-Image-Attention, um Korrelationen zwischen Feature-Deskriptoren zu berechnen. Der Matching-Prozess umfasst eine iterative Verfeinerungsschleife und dynamisches Early-Stopping, um die Berechnung zu beenden, sobald Konfidenzschwellen erreicht sind. Diese Funktionen unterstützen eine umfassendere Computer-Vision-Pipeline für die Echtzeit-Bildausrichtung und die Optimierung neuronaler Netzwerkinferenzen.

sam-hq is a collection of pre-trained vision foundation models and adapters designed for high-quality image segmentation, multimodal feature extraction, and depth estimation. It provides a zero-shot vision model capable of performing segmentation and classification across diverse domains without requiring task-specific training. The project features a high-quality image segmentation tool based on the Segment Anything Model that generates precise masks from spatial prompts. It includes a multimodal feature extractor to generate high-dimensional vector embeddings from both image and text inputs

VisualGLM-6B ist ein zweisprachiges, multimodales Large Language Model und Vision-Language-Modell für Konversationsaufgaben und visuelles Verständnis. Es fungiert als zweisprachiges KI-Modell, das Antworten sowohl auf Chinesisch als auch auf Englisch verarbeiten und generieren kann. Das System ist ein quantisiertes Large Language Model, das 4-Bit- und 8-Bit-Präzision unterstützt, um den Speicherbedarf und die Hardwareanforderungen bei der lokalen Bereitstellung zu reduzieren. Es ist zudem ein parameter-effizientes Fine-Tuning-Modell, das Gewichtsanpassungen ermöglicht, um das System ohne vollständiges Retraining an spezifische nachgelagerte Aufgaben anzupassen. Das Projekt deckt multimodale Konversations-KI und bildbasierte Dialoge ab und ermöglicht die Analyse visueller Inhalte für Aufgaben des visuellen Verständnisses in mehreren Sprachen. Zu den Funktionen gehören Modell-Präzisionsquantisierung und domänenspezifisches Fine-Tuning für spezialisierte Anwendungen.

Multimodal is a machine learning library built on PyTorch for training large-scale models that combine text, image, audio, and video data streams. It functions as a deep learning framework dedicated to generative diffusion models, multi-task training, and vision-language tasks. The library supplies modular building blocks, discrete latent codebook quantization, shared-space embeddings, and stackable adapter layers to handle diverse conditional inputs during training and inference. The framework supports specific architectures for diffusion models, text-to-video generation, image-text retrieva