28 रिपॉजिटरी
Awesome GitHub RepositoriesMulti-Modal Tokenizers
Systems that convert diverse data types into unified numerical sequences for latent space processing.
Distinguishing note: Focuses on the alignment of text and visual tokens into a shared latent space, distinct from standard NLP tokenization.
Explore 28 awesome GitHub repositories matching artificial intelligence & ml · Multi-Modal Tokenizers. Refine with filters or upvote what's useful.
Awesome Multi-Modal Tokenizers GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- openai/clip
openai/CLIP
33,779GitHub पर देखेंCLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating
Converts natural language strings into numerical sequences that align with visual features within a unified latent representation space.
Jupyter Notebookdeep-learningmachine-learning - vercel/ai
vercel/ai
21,885GitHub पर देखेंThis project is a comprehensive framework for building AI-powered applications, providing a unified toolkit for orchestrating language models, autonomous agents, and interactive user interfaces. It serves as a central library for managing the entire lifecycle of AI interactions, from initial prompt generation and model provider abstraction to complex, multi-step reasoning and tool execution. The framework distinguishes itself through its deep integration with frontend development, specifically by enabling generative user interfaces that render dynamic components directly from model outputs. I
Converts complex tool outputs like images or files into standardized formats that models can interpret and incorporate into their responses.
TypeScriptanthropicartificial-intelligencegemini - deepseek-ai/janus
deepseek-ai/Janus
17,746GitHub पर देखेंJanus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec
Employs multi-modal tokenizers to convert images into a discrete sequence of tokens shared with text.
Pythonany-to-anyfoundation-modelsllm - jina-ai/clip-as-service
jina-ai/clip-as-service
12,829GitHub पर देखेंClip-as-service is a deployable framework for generating multi-modal embeddings and executing neural searches. It provides a vector embedding server and a CLIP embedding API to convert images and text into shared vector representations via network interfaces. The system functions as a multi-modal ranking system and neural search engine, enabling the retrieval of images through text queries or the identification of matching text descriptions for images. It also includes a visual reasoning service used to analyze images and verify object presence, counts, and colors by comparing visual data aga
Converts images and text into vector representations via network requests for neural search and similarity tasks.
Python - hanxiao/bert-as-service
hanxiao/bert-as-service
12,831GitHub पर देखेंयह प्रोजेक्ट एक उच्च-प्रदर्शन BERT एम्बेडिंग सर्विस और इन्फरेंस सर्वर है जिसे टेक्स्ट अनुक्रमों को निश्चित-लंबाई वाले संख्यात्मक वैक्टर में मैप करने के लिए डिज़ाइन किया गया है। यह एक मशीन लर्निंग माइक्रोसर्विस और वितरित मॉडल सर्वर के रूप में कार्य करता है जो भारी गणना से अनुरोध हैंडलिंग को अलग करता है। सिस्टम वितरित क्लाइंट और इन्फरेंस सर्वर के बीच कम-विलंबता संचार प्रदान करने के लिए ZeroMQ मैसेजिंग इंफ्रास्ट्रक्चर का उपयोग करता है। यह हार्डवेयर उपयोग को अधिकतम करने और उच्च अनुरोध वॉल्यूम को प्रबंधित करने के लिए सर्वर-साइड बैच प्रोसेसिंग और GPU वर्कलोड स्केलिंग को शामिल करता है। प्लेटफ़ॉर्म एक साझा वेक्टर स्थान के भीतर टेक्स्ट और छवियों दोनों के लिए क्रॉस-मॉडल एम्बेडिंग उत्पन्न करके सिमेंटिक सर्च इंफ्रास्ट्रक्चर का समर्थन करता है। यह क्रॉस-मॉडल खोज, सामग्री प्रासंगिकता रैंकिंग, और विजुअल सामग्री और टेक्स्ट विवरण के बीच सिमेंटिक संरेखण के आधार पर परिणामों की री-रैंकिंग को सक्षम बनाता है। सर्विस को gRPC, HTTP, या WebSocket प्रोटोकॉल के माध्यम से सुलभ एक इलास्टिक माइक्रोसर्विस के रूप में डिप्लॉय किया जा सकता है, जिसमें बड़े डेटासेट को संभालने के लिए नॉन-ब्लॉकिंग डुप्लेक्स स्ट्रीमिंग की सुविधा है।
Converts text and images into a unified high-dimensional vector space for cross-modal retrieval.
Python - instantx-research/instantid
instantX-research/InstantID
11,955GitHub पर देखेंInstantID is a diffusion-based identity preservation framework designed for zero-shot image generation. It allows for the synthesis of images featuring a specific person's facial identity using a single reference photo without requiring additional model training or fine-tuning. The project distinguishes itself through the use of consistency model distillation to accelerate inference, reducing the number of steps needed to produce high-quality results. It combines identity-preserving feature extraction with multi-modal prompt integration to merge visual embeddings from a reference image with t
Combines textual descriptions with visual identity embeddings to control the final output of the diffusion process.
Python - yzhao062/pyod
yzhao062/pyod
9,878GitHub पर देखेंPyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini
Transforms diverse data formats into a common representation for unified outlier scoring.
Pythonagentic-aianomaly-detectiondata-mining - kyutai-labs/moshi
kyutai-labs/moshi
9,672GitHub पर देखेंMoshi is a real-time voice foundation model and speech-to-speech framework designed for bidirectional, low-latency conversations. It functions as a full-duplex voice interface that processes audio and text concurrently in a single stream, enabling natural human-machine dialogue without sequential processing delays. The system utilizes a neural audio codec to compress high-fidelity audio into low-bitrate tokens for efficient transmission. To manage complex responses and reasoning, it employs internal monologue modeling, which generates a hidden stream of thought tokens alongside audible speech
Converts audio and text into a unified token stream for single-sequence processing by the model.
Python - facebookresearch/imagebind
facebookresearch/ImageBind
9,036GitHub पर देखेंImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr
Maps images, text, audio, and other modalities into a single shared vector space using a neural network.
Python - ml-explore/mlx-examples
ml-explore/mlx-examples
8,254GitHub पर देखेंThis repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod
Implements neural networks that map images and text into a shared vector space for joint retrieval.
Pythonmlx - internlm/lmdeploy
InternLM/lmdeploy
7,903GitHub पर देखेंlmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed
Coordinates the flow of image and text data through distinct encoders before processing them in a unified transformer.
Pythoncodellamacuda-kernelsdeepspeed - zai-org/glm-4
zai-org/GLM-4
7,058GitHub पर देखेंGLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod
Integrates high-resolution visual features into a shared vector space for joint visual and linguistic reasoning.
Pythonchatglmchatglm-6bglm - apple/corenet
apple/corenet
6,999GitHub पर देखेंCorenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene
Converts raw audio and image bytes into specialized tensors for neural network processing.
Jupyter Notebook - firebase/genkit
firebase/genkit
6,121GitHub पर देखेंGenkit is an open-source framework for building AI-powered applications. It provides a unified interface for connecting to hundreds of generative AI models from multiple providers, enabling text, image, audio, and video generation through a single API. The framework structures multi-step AI interactions—including chat, retrieval-augmented generation, tool use, and agentic workflows—as composable, traceable flows with built-in streaming and state management. The framework distinguishes itself through a comprehensive developer toolkit that includes a command-line interface and a local developer
Embeds media like images into prompts for models that support multimodal input.
TypeScript - google-deepmind/gemma
google-deepmind/gemma
5,475GitHub पर देखेंGemma ओपन-वेट्स लार्ज लैंग्वेज मॉडल का एक परिवार है जो डिकोडर-ओनली ट्रांसफार्मर आर्किटेक्चर पर आधारित है। ये मॉडल टेक्स्ट जनरेशन और मल्टी-मॉडल बातचीत के लिए डिज़ाइन किए गए हैं, जो टेक्स्टुअल और विज़ुअल इनपुट सीक्वेंस दोनों के आधार पर प्रतिक्रियाओं को संसाधित करने और उत्पन्न करने में सक्षम हैं। यह प्रोजेक्ट एक फाइन-ट्यून करने योग्य AI मॉडल प्रदान करता है जो विशेष कार्यों के लिए प्रदर्शन को विशिष्ट बनाने के लिए वेट एडजस्टमेंट और लो-रैंक एडेप्टेशन का समर्थन करता है। इसमें सीमित हार्डवेयर पर मेमोरी उपयोग को कम करने और इन्फरेंस गति बढ़ाने के लिए क्वांटाइज़्ड वेट्स का समर्थन शामिल है। क्षमता सतह मल्टी-मॉडल AI एकीकरण, पैरामीटर शार्डिंग के माध्यम से मेमोरी ऑप्टिमाइज़ेशन, और वास्तविक समय डेटा प्राप्त करने के लिए बाहरी टूल और API के एकीकरण को कवर करती है। यह टेक्स्ट से छवियों के निर्माण और संरचित टेक्स्ट आउटपुट के नमूने को भी सक्षम बनाता है।
Integrates visual and textual data by mapping different input modalities into a shared latent space for joint processing.
Python - deepseek-ai/deepseek-vl2
deepseek-ai/DeepSeek-VL2
5,302GitHub पर देखेंDeepSeek-VL2 is a multimodal large language model and vision-language system designed to analyze visual scenes and generate descriptive text. It functions as a visual question answering and visual grounding model, capable of extracting information from documents and locating specific objects or regions within images based on textual descriptions. The project utilizes a mixture-of-experts architecture to process combined image and text inputs. It is optimized for inference through incremental prefilling, which reduces the GPU memory requirements on hardware. The model covers multimodal data a
Implements cross-attention mechanisms to align visual regions with specific text tokens.
Python - microsoft/muzic
microsoft/muzic
4,928GitHub पर देखेंMuzic AI-संचालित संगीत विश्लेषण, रचना और संश्लेषण के लिए एक डीप लर्निंग प्लेटफ़ॉर्म और फ्रेमवर्क है। यह एक संगीत जनरेशन फ्रेमवर्क और विश्लेषण टूल के रूप में कार्य करता है, जो प्रतीकात्मक और ऑडियो संगीत के निर्माण और व्याख्या को व्यवस्थित करने के लिए बड़े भाषा मॉडल्स और स्वायत्त एजेंटों का उपयोग करता है। यह प्रोजेक्ट अपनी क्रॉस-मॉडल क्षमताओं द्वारा प्रतिष्ठित है, जो ज़ीरो-शॉट वर्गीकरण और सूचना पुनर्प्राप्ति के लिए प्राकृतिक भाषा और प्रतीकात्मक संगीत को एक साझा संयुक्त एम्बेडिंग स्पेस में मैप करता है। यह विभिन्न प्रकार के विशेष आर्किटेक्चर को नियोजित करता है, जिसमें ऑडियो संश्लेषण के लिए डिफ्यूज़न फ्रेमवर्क, लंबी-अनुक्रम संरचनात्मक स्थिरता के लिए डुअल-ग्रेन अटेंशन मैकेनिज्म और एक हाइब्रिड सिस्टम शामिल है जो न्यूरल नेटवर्क के साथ संगीत सिद्धांत नियमों को जोड़ता है। यह प्लेटफ़ॉर्म टेक्स्ट और लिरिक्स से MIDI अनुक्रमों के निर्माण, न्यूरल सिंगिंग वॉयस सिंथेसिस और स्वचालित लिरिक्स ट्रांसक्रिप्शन सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह संगीत संरचना मॉडलिंग, विशेषता-आधारित प्रतीकात्मक जनरेशन और स्वायत्त एजेंटों के माध्यम से बाहरी संगीत टूल्स के ऑर्केस्ट्रेशन के लिए टूल्स भी प्रदान करता है। सहायक यूटिलिटीज में बड़े पैमाने पर MIDI बाइनराइजेशन, डेटासेट एन्कोडिंग और मेलोडी नोट निष्कर्षण और स्पीच-टू-फोनम एलाइनमेंट के लिए ऑडियो सिग्नल प्रोसेसिंग के लिए डेटा इंजीनियरिंग पाइपलाइन शामिल हैं।
Maps symbolic music and natural language into a shared joint embedding space using contrastive learning.
Pythonai-musicdeep-learningmusic - ux-decoder/segment-everything-everywhere-all-at-once
UX-Decoder/Segment-Everything-Everywhere-All-At-Once
4,790GitHub पर देखेंयह प्रोजेक्ट एक मल्टी-मॉडल इमेज सेगमेंटेशन फ्रेमवर्क और एक टेक्स्ट-टू-मास्क विज़न मॉडल है। यह एक SAM-आधारित विज़ुअल सेगमेंटेटर के रूप में कार्य करता है जिसे नेचुरल लैंग्वेज प्रॉम्प्ट्स और अन्य इनपुट्स को पिक्सेल-स्तरीय सिमेंटिक मास्क में बदलकर इमेज और वीडियो के भीतर अलग-अलग ऑब्जेक्ट्स को अलग करने के लिए डिज़ाइन किया गया है। यह सिस्टम एक मल्टी-मॉडल इमेज सेगमेंटेशन फ्रेमवर्क के रूप में कार्य करता है जो मास्क उत्पन्न करने के लिए टेक्स्ट, इमेज और ऑडियो सिग्नल्स को एकीकृत करता है। इसमें एक इंटरैक्टिव वीडियो ऑब्जेक्ट ट्रैकर शामिल है जो रेफरिंग इमेजेस या टेक्स्टुअल क्वेरीज़ का उपयोग करके वीडियो फ्रेम्स में विज़ुअल एंटिटीज को अलग और ट्रैक करता है। यह फ्रेमवर्क सिमेंटिक इमेज लेबलिंग की क्षमताएं प्रदान करता है, जो पूर्व-परिभाषित शब्दावली के माध्यम से मास्क को श्रेणी के नाम असाइन करता है। यह सेशन हिस्ट्री मेमोरी के माध्यम से इंटरैक्टिव इमेज एडिटिंग का भी समर्थन करता है और संदर्भ इमेज क्षेत्रों के आधार पर ऑब्जेक्ट्स को निकालने के लिए फीचर मैचिंग को संदर्भित करता है।
Combines textual prompts, images, and audio signals into a unified embedding space to guide the segmentation process.
Python - cvg/lightglue
cvg/LightGlue
4,625GitHub पर देखेंLightGlue एक डीप लर्निंग फ्रेमवर्क है जिसे इमेजेस के जोड़ों के बीच लोकल फीचर मैचिंग और हाई-स्पीड कॉरेस्पोंडेंस एस्टिमेशन के लिए डिज़ाइन किया गया है। यह एक कंप्यूटर विज़न मैचिंग मॉडल के रूप में कार्य करता है जो अलग-अलग दृष्टिकोणों (viewpoints) में संबंधित की-पॉइंट्स की पहचान करता है। यह सिस्टम एक एडेप्टिव न्यूरल नेटवर्क आर्किटेक्चर का उपयोग करता है जो इनपुट इमेज पेयर्स के आधार पर अपनी गहराई और चौड़ाई को प्रून (prune) करके इन्फरेंस स्पीड को गतिशील रूप से ऑप्टिमाइज़ करता है। यह दृष्टिकोण फीचर डिस्क्रिप्टर्स के बीच सहसंबंधों (correlations) की गणना करने के लिए ट्रांसफॉर्मर-शैली के अटेंशन मैकेनिज्म और क्रॉस-इमेज अटेंशन का उपयोग करता है। मैचिंग प्रक्रिया में एक इटरेटिव रिफाइनमेंट लूप और डायनामिक अर्ली स्टॉपिंग शामिल है ताकि कॉन्फिडेंस थ्रेशोल्ड पूरा होने पर गणना को रोका जा सके। ये क्षमताएं रीयल-टाइम इमेज अलाइनमेंट और न्यूरल नेटवर्क इन्फरेंस ऑप्टिमाइज़ेशन के लिए एक व्यापक कंप्यूटर विज़न पाइपलाइन का समर्थन करती हैं।
Employs cross-attention mechanisms to compute correlations between feature descriptors of two different images.
Python - antgroup/echomimic
antgroup/echomimic
4,255GitHub पर देखेंEchoMimic is a multimodal human animation framework and diffusion-based video generator. It produces lifelike facial and semi-body animations of a reference image by synthesizing motion and appearance from various source data. The system enables portrait animation driven by audio, pose sequences, or driver videos. It features a landmark conditioning tool that allows for the precise control of facial movements by modifying specific landmark points. The framework covers multi-modal motion synthesis and the synchronization of reference images to match the physical movements of a target driver.
Combines audio and pose data into a unified latent space to control subject appearance and motion.
Pythonaaai2025audio-driven-portrait-animationsaudio-driven-talking-face
