Awesome GitHub RepositoriesMulti-Modal Embedding Models

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

lmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Gemma es una familia de modelos de lenguaje de gran tamaño de pesos abiertos basados en una arquitectura transformer solo de decodificador. Estos modelos están diseñados para la generación de texto y conversaciones multimodales, capaces de procesar y generar respuestas basadas tanto en secuencias de entrada textuales como visuales. El proyecto proporciona un modelo de IA ajustable (fine-tunable) que admite el ajuste de pesos y la adaptación de bajo rango (LoRA) para especializar el rendimiento en tareas particulares. Incluye soporte para pesos cuantizados para reducir el uso de memoria y aumentar la velocidad de inferencia en hardware limitado. La superficie de capacidades cubre la integración de IA multimodal, optimización de memoria mediante fragmentación de parámetros (sharding) y la integración de herramientas y APIs externas para recuperar datos en tiempo real. Permite además la generación de imágenes a partir de texto y el muestreo de salidas de texto estructurado.

DeepSeek-VL2 es un modelo de lenguaje grande multimodal y sistema de visión-lenguaje diseñado para analizar escenas visuales y generar texto descriptivo. Funciona como un modelo de respuesta a preguntas visuales y fundamentación visual (visual grounding), capaz de extraer información de documentos y localizar objetos o regiones específicas dentro de imágenes basadas en descripciones textuales. El proyecto utiliza una arquitectura de mezcla de expertos (mixture-of-experts) para procesar entradas combinadas de imagen y texto. Está optimizado para la inferencia mediante prellenado incremental, lo que reduce los requisitos de memoria de GPU en el hardware. El modelo cubre el análisis de datos multimodal y la comprensión de documentos visuales, incluyendo la interpretación de gráficos y diseños. Realiza inferencia visual y fundamentación para hacer coincidir consultas textuales con el contenido visual correspondiente.

LightGlue is a deep learning framework designed for local feature matching and high-speed correspondence estimation between pairs of images. It functions as a computer vision matching model that identifies corresponding keypoints across different viewpoints. The system utilizes an adaptive neural network architecture that dynamically optimizes inference speed by pruning its own depth and width based on the input image pairs. This approach employs a transformer-style attention mechanism and cross-image attention to compute correlations between feature descriptors. The matching process include

sam-hq is a collection of pre-trained vision foundation models and adapters designed for high-quality image segmentation, multimodal feature extraction, and depth estimation. It provides a zero-shot vision model capable of performing segmentation and classification across diverse domains without requiring task-specific training. The project features a high-quality image segmentation tool based on the Segment Anything Model that generates precise masks from spatial prompts. It includes a multimodal feature extractor to generate high-dimensional vector embeddings from both image and text inputs

VisualGLM-6B es un modelo de lenguaje grande multimodal bilingüe y modelo de visión-lenguaje diseñado para tareas conversacionales y comprensión visual. Funciona como un modelo de IA bilingüe capaz de procesar y generar respuestas tanto en chino como en inglés. El sistema es un modelo de lenguaje grande cuantizado que admite precisión de 4 y 8 bits para reducir el uso de memoria y los requisitos de hardware durante el despliegue local. También es un modelo de ajuste fino (fine-tuning) eficiente en parámetros, lo que permite realizar ajustes de peso para adaptar el sistema a tareas específicas sin necesidad de reentrenamiento completo. El proyecto cubre IA conversacional multimodal y diálogo basado en imágenes, permitiendo el análisis de contenido visual para realizar tareas de comprensión visual en múltiples idiomas. Sus capacidades incluyen cuantización de precisión del modelo y ajuste fino específico de dominio para aplicaciones especializadas.

Multimodal is a machine learning library built on PyTorch for training large-scale models that combine text, image, audio, and video data streams. It functions as a deep learning framework dedicated to generative diffusion models, multi-task training, and vision-language tasks. The library supplies modular building blocks, discrete latent codebook quantization, shared-space embeddings, and stackable adapter layers to handle diverse conditional inputs during training and inference. The framework supports specific architectures for diffusion models, text-to-video generation, image-text retrieva