Awesome GitHub RepositoriesJoint Embedding Spaces

Clip-as-service is a deployable framework for generating multi-modal embeddings and executing neural searches. It provides a vector embedding server and a CLIP embedding API to convert images and text into shared vector representations via network interfaces. The system functions as a multi-modal ranking system and neural search engine, enabling the retrieval of images through text queries or the identification of matching text descriptions for images. It also includes a visual reasoning service used to analyze images and verify object presence, counts, and colors by comparing visual data aga

هذا المشروع عبارة عن خدمة تضمين BERT عالية الأداء وخادم استدلال مصمم لتعيين تسلسلات النص إلى متجهات رقمية ذات طول ثابت. يعمل كخدمة ميكرو لتعلم الآلة وخادم نموذج موزع يفصل معالجة الطلبات عن الحوسبة الثقيلة. يستخدم النظام بنية تحتية للمراسلة ZeroMQ لتوفير تواصل منخفض زمن الوصول بين العملاء الموزعين وخادم الاستدلال. يدمج معالجة الدفعات من جانب الخادم وتوسيع نطاق عبء عمل GPU لزيادة استخدام الأجهزة وإدارة أحجام الطلبات العالية. تدعم المنصة بنية تحتية للبحث الدلالي من خلال توليد تضمينات متعددة الوسائط لكل من النص والصور داخل مساحة متجه مشتركة. هذا يتيح البحث متعدد الوسائط، وترتيب صلة المحتوى، وإعادة ترتيب النتائج بناءً على المحاذاة الدلالية بين المحتوى المرئي وأوصاف النص. يمكن نشر الخدمة كخدمة ميكرو مرنة يمكن الوصول إليها عبر بروتوكولات gRPC أو HTTP أو WebSocket، وتتميز ببث مزدوج غير محظور للتعامل مع مجموعات البيانات الكبيرة.

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

يوفر هذا المشروع إطار عمل أساسياً وتنفيذاً مرجعياً لتنفيذ نمذجة اللغة السببية والاستدلال متعدد الوسائط على الأنظمة المحلية. يتضمن مجموعة من المكونات الأساسية لإدارة أصول النماذج، وإطار عمل للضبط الدقيق، والتعريفات الهيكلية المطلوبة لإنشاء معماريات تعتمد على المحولات (Transformers). يتميز النظام بقدرته على معالجة مدخلات النصوص والصور المدمجة من خلال نماذج محولات متعددة الوسائط للاستدلال البصري وتحليل المستندات. كما يدعم نشر النماذج المكممة (Quantized)، مما يقلل من استهلاك الذاكرة من خلال تقنيات الدقة المنخفضة لتمكين الاستدلال على أجهزة الحافة (Edge devices). يغطي المشروع مجالات قدرات واسعة تشمل الضبط الدقيق الخاضع للإشراف والتكيف منخفض الرتبة (LoRA) لتخصيص النطاق، بالإضافة إلى مدير أصول شامل لتنزيل أوزان النماذج والمُرمّزات (Tokenizers) والتحقق منها وتنظيمها. تشمل الوظائف الإضافية توليد النصوص متعدد اللغات، ومعالجة السياق الطويل، والتأريض اللغوي البصري.

vjepa2 is a joint-embedding predictive architecture and video self-supervised learning framework. It functions as a visual representation learner and a robotic manipulation model designed to learn representations by predicting future latent states without reconstructing pixels. The system enables the pretraining of video encoders that learn temporally consistent features through masked-token prediction and multi-modal tokenization. It further maps these latent embeddings to specific physical movements via action-conditioned post-training to plan and execute robot arm grasping and picking task