6 repositorios
Methods for aggregating features from multiple images using a shared model backbone.
Distinct from Image Processing: Focuses on multi-image input aggregation for a single sample, not animation or sequential processing.
Explore 6 awesome GitHub repositories matching graphics & multimedia · Multi-Image Sample Processing. Refine with filters or upvote what's useful.
Spectacle is a React-based presentation framework that enables developers to author slide decks using JSX and MDX syntax. It provides a component-driven approach to building presentations, where slides are composed as React components with declarative layouts, theme-driven styling, and step-based animation sequencing. The framework distinguishes itself through its support for live coding demonstrations within slides, allowing presenters to execute and display code directly during a talk. It includes a presenter mode with dual-view architecture that shows speaker notes, a timer, and upcoming s
Ships a layout component for positioning multiple images on a single presentation slide.
AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc
Aggregates features from multiple image columns or paths using a single model backbone.
Accepts multiple images in a single turn for cross-image comparison and reasoning.
LLaVA-NeXT es un framework de modelo de lenguaje grande multimodal y toolkit de entrenamiento diseñado para procesar imágenes intercaladas y secuencias de vídeo para generar texto. Funciona como un modelo de lenguaje visual que combina codificadores de visión con modelos de lenguaje para realizar razonamiento complejo, respuesta a preguntas y comprensión de vídeo. El sistema es capaz de analizar imágenes de alta resolución y fotogramas de vídeo temporales para describir eventos, resumir acciones y razonar a través de múltiples entradas visuales. Soporta la interpretación de documentos y gráficos, análisis de entorno espacial y la generación de subtítulos descriptivos tanto para imágenes como para vídeo. El framework incluye herramientas para ajustar modelos multimodales mediante optimización de preferencias para reducir alucinaciones y mejorar la precisión. También proporciona un servidor de inferencia para desplegar estas capacidades como un servicio API vía un backend HTTP.
Processes sequences of alternating text and visual tokens to enable complex reasoning across multiple images.
Imageflow es una librería de manipulación de imágenes y motor de composición de alto rendimiento, disponible como librería compatible con C, procesador de imágenes de línea de comandos y servidor de procesamiento de imágenes dinámico. Proporciona los medios para decodificar, codificar y aplicar transformaciones visuales complejas a imágenes a través de interfaces programáticas, archivos de trabajo JSON o cadenas de consulta URL al vuelo. El sistema se distingue por un pipeline de procesamiento basado en grafos que permite la codificación multiformato en una sola pasada, generando múltiples tamaños y formatos de imagen a partir de una sola decodificación para reducir la sobrecarga. Además, cuenta con un motor de decodificación con restricciones de recursos que impone límites estrictos de memoria y dimensiones para evitar el agotamiento de recursos y ataques de denegación de servicio. El proyecto cubre una amplia gama de capacidades de manipulación, incluyendo redimensionamiento de dimensiones, recorte, rotación y filtrado de color. Soporta tareas de composición avanzadas como marcas de agua, generación de lienzos en blanco y renderizado de formas geométricas, junto con corrección de color automatizada y ajustes de balance de blancos mediante análisis de histograma. La lógica central se expone a través de bindings de interfaz de funciones externas (FFI) para la integración entre lenguajes.
Generates several different image sizes and formats in a single job to minimize redundant decoding.
Otter is a framework and toolkit for the pretraining, fine-tuning, and evaluation of vision-language models. It provides a pipeline for training large language models to process high-resolution images and video frames, integrating visual encoders with textual token spaces. The system is designed for multi-visual input processing, allowing models to interpret multiple images or video sequences within a single prompt. It supports multi-round conversation management to maintain context across interactions for detailed scene comprehension and visual reasoning. The framework covers a full develop
Interprets multiple images or video frames within a single prompt to follow instructions spanning different visual contexts.