Awesome GitHub RepositoriesMulti-Modal Tokenizers

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

This project is a comprehensive framework for building AI-powered applications, providing a unified toolkit for orchestrating language models, autonomous agents, and interactive user interfaces. It serves as a central library for managing the entire lifecycle of AI interactions, from initial prompt generation and model provider abstraction to complex, multi-step reasoning and tool execution. The framework distinguishes itself through its deep integration with frontend development, specifically by enabling generative user interfaces that render dynamic components directly from model outputs. I

Janus is a multimodal large language model and unified framework that integrates visual understanding and image generation within a single neural network. It functions as both a visual understanding model for analyzing images and a text-to-image generator. The system uses a unified transformer backbone and a multimodal latent space to bridge the gap between text and visual data. This architecture employs decoupled visual encoding and cross-modal tokenization to separate the paths for discriminative understanding and generative tasks, representing images as grids of discrete codes. The projec

هذا المشروع عبارة عن خدمة تضمين BERT عالية الأداء وخادم استدلال مصمم لتعيين تسلسلات النص إلى متجهات رقمية ذات طول ثابت. يعمل كخدمة ميكرو لتعلم الآلة وخادم نموذج موزع يفصل معالجة الطلبات عن الحوسبة الثقيلة. يستخدم النظام بنية تحتية للمراسلة ZeroMQ لتوفير تواصل منخفض زمن الوصول بين العملاء الموزعين وخادم الاستدلال. يدمج معالجة الدفعات من جانب الخادم وتوسيع نطاق عبء عمل GPU لزيادة استخدام الأجهزة وإدارة أحجام الطلبات العالية. تدعم المنصة بنية تحتية للبحث الدلالي من خلال توليد تضمينات متعددة الوسائط لكل من النص والصور داخل مساحة متجه مشتركة. هذا يتيح البحث متعدد الوسائط، وترتيب صلة المحتوى، وإعادة ترتيب النتائج بناءً على المحاذاة الدلالية بين المحتوى المرئي وأوصاف النص. يمكن نشر الخدمة كخدمة ميكرو مرنة يمكن الوصول إليها عبر بروتوكولات gRPC أو HTTP أو WebSocket، وتتميز ببث مزدوج غير محظور للتعامل مع مجموعات البيانات الكبيرة.

Clip-as-service is a deployable framework for generating multi-modal embeddings and executing neural searches. It provides a vector embedding server and a CLIP embedding API to convert images and text into shared vector representations via network interfaces. The system functions as a multi-modal ranking system and neural search engine, enabling the retrieval of images through text queries or the identification of matching text descriptions for images. It also includes a visual reasoning service used to analyze images and verify object presence, counts, and colors by comparing visual data aga

InstantID is a diffusion-based identity preservation framework designed for zero-shot image generation. It allows for the synthesis of images featuring a specific person's facial identity using a single reference photo without requiring additional model training or fine-tuning. The project distinguishes itself through the use of consistency model distillation to accelerate inference, reducing the number of steps needed to produce high-quality results. It combines identity-preserving feature extraction with multi-modal prompt integration to merge visual embeddings from a reference image with t

PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

Moshi is a real-time voice foundation model and speech-to-speech framework designed for bidirectional, low-latency conversations. It functions as a full-duplex voice interface that processes audio and text concurrently in a single stream, enabling natural human-machine dialogue without sequential processing delays. The system utilizes a neural audio codec to compress high-fidelity audio into low-bitrate tokens for efficient transmission. To manage complex responses and reasoning, it employs internal monologue modeling, which generates a hidden stream of thought tokens alongside audible speech

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

lmdeploy is a high-performance inference engine and deployment framework for large language models and vision models. It functions as a multi-modal model server and compression toolkit designed to serve models with high throughput and low latency. The system enables the distribution of model services across multiple machines using request-based load balancing and tensor parallelism. It includes specialized tools for model quantization and compression to reduce the memory footprint of weights and caches. The framework covers broad capability areas including production deployment, distributed

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Corenet is a deep learning training framework and computer vision model library designed for developing neural networks across vision, text, and audio modalities. It functions as a distributed training orchestrator for scaling workloads across multiple compute nodes and provides a multimodal data pipeline for processing image, text, and video data. The project includes a model conversion toolkit for transforming weights and architectures between different machine learning frameworks. It also provides tools for optimizing model performance on Apple Silicon and reducing response latency in gene

Genkit is an open-source framework for building AI-powered applications. It provides a unified interface for connecting to hundreds of generative AI models from multiple providers, enabling text, image, audio, and video generation through a single API. The framework structures multi-step AI interactions—including chat, retrieval-augmented generation, tool use, and agentic workflows—as composable, traceable flows with built-in streaming and state management. The framework distinguishes itself through a comprehensive developer toolkit that includes a command-line interface and a local developer

Gemma هي عائلة من نماذج اللغات الكبيرة ذات الأوزان المفتوحة القائمة على بنية محول (transformer) فك التشفير فقط. تم تصميم هذه النماذج لتوليد النصوص والمحادثات متعددة الوسائط، وهي قادرة على معالجة وتوليد الردود بناءً على تسلسلات المدخلات النصية والبصرية. يوفر المشروع نموذج ذكاء اصطناعي قابلاً للضبط الدقيق يدعم تعديل الأوزان والتكيف منخفض الرتبة (low-rank adaptation) لتخصيص الأداء لمهام معينة. يتضمن دعماً للأوزان المكممة (quantized) لتقليل استخدام الذاكرة وزيادة سرعة الاستنتاج على الأجهزة المحدودة. تغطي مساحة القدرات تكامل الذكاء الاصطناعي متعدد الوسائط، وتحسين الذاكرة من خلال تجزئة المعلمات، ودمج الأدوات الخارجية وواجهات برمجة التطبيقات لاسترجاع البيانات في الوقت الفعلي. كما تتيح توليد الصور من النصوص وأخذ عينات من مخرجات النصوص المهيكلة.

DeepSeek-VL2 هو نموذج لغوي كبير متعدد الوسائط ونظام رؤية لغوية مصمم لتحليل المشاهد المرئية وتوليد نص وصفي. يعمل كنموذج للإجابة على الأسئلة المرئية والتأريض المرئي، وقادر على استخراج المعلومات من المستندات وتحديد كائنات أو مناطق محددة داخل الصور بناءً على أوصاف نصية. يستخدم المشروع معمارية خليط من الخبراء (mixture-of-experts) لمعالجة مدخلات الصور والنصوص المدمجة. تم تحسينه للاستدلال من خلال التعبئة التزايدية (incremental prefilling)، مما يقلل من متطلبات ذاكرة GPU على الأجهزة. يغطي النموذج تحليل البيانات متعدد الوسائط وفهم المستندات المرئية، بما في ذلك تفسير المخططات والتخطيطات. يقوم بإجراء استدلال مرئي وتأريض لمطابقة الاستعلامات النصية مع المحتوى المرئي المقابل.

Muzic هي منصة وإطار عمل للتعلم العميق لتحليل الموسيقى وتأليفها وتوليفها بواسطة الذكاء الاصطناعي. تعمل كإطار عمل لتوليد الموسيقى وأداة تحليل، باستخدام نماذج لغة كبيرة ووكلاء مستقلين لتنسيق إنشاء وتفسير الموسيقى الرمزية والصوتية. يتميز المشروع بقدراته عبر الوسائط، حيث يربط اللغة الطبيعية والموسيقى الرمزية في مساحة تضمين مشتركة للتصنيف بدون أمثلة (zero-shot) واسترجاع المعلومات. يوظف مجموعة متنوعة من المعماريات المتخصصة، بما في ذلك أطر عمل الانتشار لتوليف الصوت، وآليات الانتباه ثنائية الحبيبات لاتساق الهيكل طويل التسلسل، ونظام هجين يجمع بين قواعد نظرية الموسيقى والشبكات العصبية. تغطي المنصة مجموعة واسعة من القدرات، بما في ذلك توليد تسلسلات MIDI من النص والكلمات، وتوليف صوت الغناء العصبي، ونسخ الكلمات تلقائيًا. كما توفر أدوات لنمذجة هيكل الموسيقى، والتوليد الرمزي القائم على السمات، وتنسيق أدوات الموسيقى الخارجية عبر وكلاء مستقلين. تشمل الأدوات المساعدة خطوط أنابيب هندسة البيانات لتحويل MIDI إلى ثنائي على نطاق واسع، وترميز مجموعات البيانات، ومعالجة الإشارات الصوتية لاستخراج نوتات اللحن ومحاذاة الكلام إلى فونيم.

هذا المشروع هو إطار عمل لتجزئة الصور متعدد الوسائط ونموذج رؤية من النص إلى القناع. يعمل كمجزئ مرئي يعتمد على SAM مصمم لعزل الكائنات المتميزة داخل الصور والفيديو عن طريق تحويل مطالبات اللغة الطبيعية والمدخلات الأخرى إلى أقنعة دلالية على مستوى البكسل. يعمل النظام كإطار عمل لتجزئة الصور متعدد الوسائط يدمج إشارات النص، والصورة، والصوت لتوليد الأقنعة. يتضمن متتبع كائنات فيديو تفاعلي يعزل ويتتبع الكيانات المرئية عبر إطارات الفيديو باستخدام صور مرجعية أو استعلامات نصية. يوفر إطار العمل قدرات لتسمية الصور الدلالية، وتعيين أسماء الفئات للأقنعة عبر مفردات محددة مسبقاً. كما يدعم تحرير الصور التفاعلي من خلال ذاكرة سجل الجلسة ويشير إلى مطابقة الميزات لاستخراج الكائنات بناءً على مناطق الصور المرجعية.

LightGlue هو إطار عمل للتعلم العميق مصمم لمطابقة الميزات المحلية وتقدير المراسلات عالية السرعة بين أزواج الصور. يعمل كنموذج مطابقة للرؤية الحاسوبية يحدد النقاط الرئيسية المتقابلة عبر وجهات نظر مختلفة. يستخدم النظام بنية شبكة عصبية تكيفية تعمل على تحسين سرعة الاستدلال ديناميكيًا عن طريق تقليم عمقها وعرضها بناءً على أزواج الصور المدخلة. يستخدم هذا النهج آلية انتباه بنمط transformer وانتباه عبر الصور لحساب الارتباطات بين واصفات الميزات. تتضمن عملية المطابقة حلقة تحسين تكرارية وإيقافًا مبكرًا ديناميكيًا لإيقاف الحساب بمجرد استيفاء عتبات الثقة. تدعم هذه القدرات خط أنابيب رؤية حاسوبية أوسع لمحاذاة الصور في الوقت الفعلي وتحسين استدلال الشبكة العصبية.

EchoMimic is a multimodal human animation framework and diffusion-based video generator. It produces lifelike facial and semi-body animations of a reference image by synthesizing motion and appearance from various source data. The system enables portrait animation driven by audio, pose sequences, or driver videos. It features a landmark conditioning tool that allows for the precise control of facial movements by modifying specific landmark points. The framework covers multi-modal motion synthesis and the synchronization of reference images to match the physical movements of a target driver.