Awesome GitHub RepositoriesMulti-Modal Tokenizers

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

This project is a comprehensive framework for building AI-powered applications, providing a unified toolkit for orchestrating language models, autonomous agents, and interactive user interfaces. It serves as a central library for managing the entire lifecycle of AI interactions, from initial prompt generation and model provider abstraction to complex, multi-step reasoning and tool execution. The framework distinguishes itself through its deep integration with frontend development, specifically by enabling generative user interfaces that render dynamic components directly from model outputs. I

Janus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec

Clip-as-service is a deployable framework for generating multi-modal embeddings and executing neural searches. It provides a vector embedding server and a CLIP embedding API to convert images and text into shared vector representations via network interfaces. The system functions as a multi-modal ranking system and neural search engine, enabling the retrieval of images through text queries or the identification of matching text descriptions for images. It also includes a visual reasoning service used to analyze images and verify object presence, counts, and colors by comparing visual data aga

Ce projet est un service d'intégration BERT haute performance et un serveur d'inférence conçu pour mapper des séquences de texte en vecteurs numériques de longueur fixe. Il fonctionne comme un microservice d'apprentissage automatique et un serveur de modèle distribué qui découple la gestion des requêtes du calcul lourd. Le système utilise une infrastructure de messagerie ZeroMQ pour fournir une communication à faible latence entre les clients distribués et le serveur d'inférence. Il incorpore le traitement par lots côté serveur et la mise à l'échelle de la charge de travail GPU pour maximiser l'utilisation du matériel et gérer des volumes de requêtes élevés. La plateforme prend en charge l'infrastructure de recherche sémantique en générant des intégrations transmodales pour le texte et les images au sein d'un espace vectoriel partagé. Cela permet la recherche transmodale, le classement de la pertinence du contenu et le reclassement des résultats basés sur l'alignement sémantique entre le contenu visuel et les descriptions textuelles. Le service peut être déployé en tant que microservice élastique accessible via les protocoles gRPC, HTTP ou WebSocket, avec un streaming duplex non bloquant pour gérer de grands ensembles de données.

InstantID is a diffusion-based identity preservation framework designed for zero-shot image generation. It allows for the synthesis of images featuring a specific person's facial identity using a single reference photo without requiring additional model training or fine-tuning. The project distinguishes itself through the use of consistency model distillation to accelerate inference, reducing the number of steps needed to produce high-quality results. It combines identity-preserving feature extraction with multi-modal prompt integration to merge visual embeddings from a reference image with t

PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

Moshi is a real-time voice foundation model and speech-to-speech framework designed for bidirectional, low-latency conversations. It functions as a full-duplex voice interface that processes audio and text concurrently in a single stream, enabling natural human-machine dialogue without sequential processing delays. The system utilizes a neural audio codec to compress high-fidelity audio into low-bitrate tokens for efficient transmission. To manage complex responses and reasoning, it employs internal monologue modeling, which generates a hidden stream of thought tokens alongside audible speech

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

lmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Corenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene

Genkit is an open-source framework for building AI-powered applications. It provides a unified interface for connecting to hundreds of generative AI models from multiple providers, enabling text, image, audio, and video generation through a single API. The framework structures multi-step AI interactions—including chat, retrieval-augmented generation, tool use, and agentic workflows—as composable, traceable flows with built-in streaming and state management. The framework distinguishes itself through a comprehensive developer toolkit that includes a command-line interface and a local developer

Gemma est une famille de grands modèles de langage à poids ouverts basés sur une architecture transformer uniquement décodeur. Ces modèles sont conçus pour la génération de texte et les conversations multimodales, capables de traiter et de générer des réponses basées sur des séquences d'entrée textuelles et visuelles. Le projet fournit un modèle d'IA affinable qui prend en charge l'ajustement des poids et l'adaptation de bas rang pour spécialiser les performances pour des tâches particulières. Il inclut la prise en charge des poids quantifiés pour réduire l'utilisation de la mémoire et augmenter la vitesse d'inférence sur du matériel limité. La surface de capacité couvre l'intégration de l'IA multimodale, l'optimisation de la mémoire via le sharding de paramètres et l'intégration d'outils et d'API externes pour récupérer des données en temps réel. Il permet en outre la génération d'images à partir de texte et l'échantillonnage de sorties de texte structurées.

DeepSeek-VL2 est un modèle de langage multimodal et un système vision-langage conçu pour analyser des scènes visuelles et générer du texte descriptif. Il fonctionne comme un modèle de réponse aux questions visuelles et de mise en correspondance visuelle, capable d'extraire des informations de documents et de localiser des objets ou régions spécifiques dans des images basées sur des descriptions textuelles. Le projet utilise une architecture de mélange d'experts (mixture-of-experts) pour traiter les entrées combinées d'images et de texte. Il est optimisé pour l'inférence via le pré-remplissage incrémentiel, ce qui réduit les besoins en mémoire GPU sur le matériel. Le modèle couvre l'analyse de données multimodales et la compréhension de documents visuels, incluant l'interprétation de graphiques et de mises en page. Il effectue une inférence visuelle et une mise en correspondance pour faire correspondre les requêtes textuelles avec le contenu visuel correspondant.

Muzic est une plateforme et un framework de deep learning pour l'analyse, la composition et la synthèse musicale assistées par IA. Il fonctionne comme un framework de génération musicale et un outil d'analyse, utilisant des modèles de langage étendus et des agents autonomes pour orchestrer la création et l'interprétation de musique symbolique et audio. Le projet se distingue par ses capacités intermodales, mappant le langage naturel et la musique symbolique dans un espace d'intégration commun pour la classification zero-shot et la recherche d'informations. Il emploie une variété d'architectures spécialisées, notamment des frameworks de diffusion pour la synthèse audio, des mécanismes d'attention à double grain pour la cohérence structurelle des séquences longues, et un système hybride qui combine les règles de théorie musicale avec des réseaux de neurones. La plateforme couvre un large éventail de capacités, y compris la génération de séquences MIDI à partir de texte et de paroles, la synthèse vocale neuronale et la transcription automatisée de paroles. Elle fournit également des outils pour la modélisation de la structure musicale, la génération symbolique basée sur des attributs et l'orchestration d'outils musicaux externes via des agents autonomes. Les utilitaires de support incluent des pipelines d'ingénierie de données pour la binarisation MIDI à grande échelle, l'encodage de jeux de données et le traitement du signal audio pour l'extraction de notes de mélodie et l'alignement parole-phonème.

Ce projet est un framework de segmentation d'image multimodale et un modèle de vision texte-vers-masque. Il sert de segmenteur visuel basé sur SAM conçu pour isoler des objets distincts dans des images et des vidéos en convertissant des prompts en langage naturel et d'autres entrées en masques sémantiques au niveau du pixel. Le système fonctionne comme un framework de segmentation d'image multimodale qui intègre des signaux texte, image et audio pour générer des masques. Il inclut un tracker d'objets vidéo interactif qui isole et suit les entités visuelles à travers les images vidéo en utilisant des images de référence ou des requêtes textuelles. Le framework fournit des capacités pour l'étiquetage sémantique d'image, assignant des noms de catégorie aux masques via un vocabulaire prédéfini. Il prend également en charge l'édition d'image interactive via la mémoire de l'historique de session et se réfère à la correspondance de caractéristiques pour extraire des objets basés sur des régions d'image de référence.

LightGlue est un framework de deep learning conçu pour la mise en correspondance de caractéristiques locales et l'estimation de correspondance à haute vitesse entre des paires d'images. Il fonctionne comme un modèle de vision par ordinateur qui identifie des points d'intérêt correspondants à travers différents points de vue. Le système utilise une architecture de réseau neuronal adaptatif qui optimise dynamiquement la vitesse d'inférence en élaguant sa propre profondeur et largeur en fonction des paires d'images en entrée. Cette approche emploie un mécanisme d'attention de type transformer et une attention inter-images pour calculer les corrélations entre les descripteurs de caractéristiques. Le processus de mise en correspondance inclut une boucle de raffinement itératif et un arrêt précoce dynamique pour stopper le calcul une fois les seuils de confiance atteints. Ces capacités soutiennent un pipeline de vision par ordinateur plus large pour l'alignement d'images en temps réel et l'optimisation de l'inférence de réseaux neuronaux.

EchoMimic est un framework d'animation humaine multimodale et un générateur de vidéo basé sur la diffusion. Il produit des animations faciales et semi-corporelles réalistes d'une image de référence en synthétisant le mouvement et l'apparence à partir de diverses données sources. Le système permet une animation de portrait pilotée par l'audio, des séquences de pose ou des vidéos de pilote. Il dispose d'un outil de conditionnement par points de repère qui permet un contrôle précis des mouvements faciaux en modifiant des points de repère spécifiques. Le framework couvre la synthèse de mouvement multimodale et la synchronisation des images de référence pour correspondre aux mouvements physiques d'un pilote cible. Cela inclut la capacité de transformer des signaux audio en paramètres de pose faciale pour piloter les images vidéo générées.