Awesome GitHub RepositoriesContrastive Learning Models

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

This project is a framework for training and deploying transformer-based models that map text, images, audio, and video into dense or sparse vector representations. It functions as a multimodal embedding library and semantic search engine used to retrieve relevant documents by calculating vector similarity between meanings. The framework provides specialized tools for both cross-encoder reranking, which calculates precise similarity scores to refine search results, and vector quantization to compress embedding vectors for reduced memory usage and increased retrieval speed. The project covers

This project is a transformer-based framework for generating dense and sparse vector embeddings of text and multimodal data. It serves as a library for fine-tuning models to perform semantic similarity tasks, retrieval, and reranking. The system is distinguished by its support for diverse architectural patterns, including bi-encoders for fast similarity search and cross-encoders for high-precision reranking. It provides dedicated pipelines for multimodal embeddings, mapping text and images into a shared vector space, and implements knowledge distillation to compress large models into smaller,

This is a PyTorch implementation of a text-to-image model designed for synthesizing high-fidelity images from natural language descriptions. It utilizes a diffusion image generator to transform latent embeddings into visual data through an iterative denoising process. The system employs a two-stage latent mapping process, using a CLIP-based latent prior to map text embeddings to image embeddings before decoding them into pixels. It features a cascading diffusion decoder that produces high-resolution imagery by passing low-resolution outputs through a sequence of models at increasing scales.

GroundingDINO is a deep learning vision model and open-vocabulary object detector designed to map natural language prompts to spatial coordinates. It functions as a text-to-bounding-box framework that enables zero-shot image localization, allowing the system to identify and locate arbitrary objects without requiring predefined classes or specific training for those categories. The project distinguishes itself by matching visual features to natural language descriptions to achieve open-set visual recognition. It supports text-guided image localization and the isolation of specific objects base

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

This project is a comprehensive machine learning interview guide and technical study resource designed for individuals preparing for machine learning and AI engineering roles. It provides a collection of materials and practice problems covering core algorithms, theoretical fundamentals, and the implementation of neural network architectures. The resource serves as a technical reference for generative AI development, focusing on the design and optimization of large language models and diffusion systems. It includes frameworks for system design, covering the architecture of production machine l

Chinese-CLIP est un framework multimodal et un modèle vision-langage conçu pour la recherche cross-modale et la génération de représentations utilisant du texte et des images en chinois. Il emploie une architecture d'apprentissage contrastif pour mapper les données visuelles et textuelles dans un espace vectoriel partagé pour les calculs de similarité. Le système permet une recherche bidirectionnelle, autorisant la recherche texte-vers-image et image-vers-texte. Il fournit également une classification d'images zero-shot, qui identifie des objets dans des images sans nécessiter d'entraînement spécifique à la tâche. Le projet inclut des outils pour le fine-tuning de modèles pré-entraînés sur des jeux de données spécialisés en utilisant l'entraînement distribué et l'apprentissage contrastif. Il fournit aussi des utilitaires pour exporter les poids des modèles dans des formats optimisés afin d'augmenter la vitesse d'inférence dans les environnements de production.

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

moco est une implémentation PyTorch de momentum contrast conçue pour l'apprentissage de représentation visuelle auto-supervisé. Il sert de framework basé sur la recherche pour extraire des caractéristiques d'image de haut niveau à partir de jeux de données non étiquetés en maximisant la similarité entre différentes vues de la même image. Le système utilise une architecture d'encodeur asymétrique composée d'un encodeur en ligne à apprentissage rapide et d'un encodeur à momentum à évolution lente pour stabiliser l'entraînement. Il emploie une approche basée sur un dictionnaire qui compare les images de requête à une file d'attente dynamique d'échantillons négatifs pour apprendre des caractéristiques visuelles distinctives sans étiquetage humain manuel. Le framework couvre le flux de travail d'apprentissage contrastif de bout en bout, incluant l'apprentissage de représentation visuelle non supervisé et l'analyse d'images non étiquetées. Il exploite des opérations de tenseurs accélérées par GPU pour les calculs de similarité vectorielle de haute dimension et l'entraînement de modèles.

PlugNPlay-Modules is a collection of reusable PyTorch computer vision modules and deep learning architectural components. It provides a library of standardized building blocks for constructing neural networks, focusing on attention mechanisms, signal processing layers, and feature fusion modules. The project is distinguished by its extensive variety of attention primitives, covering spatial, channel, and temporal weighting, as well as specialized variants like deformable, frequency-enhanced, and linear-complexity attention. It also implements advanced signal processing tools within the neural

Caffe est un framework de deep learning haute performance et une bibliothèque de réseaux de neurones convolutifs conçue pour l'entraînement et le déploiement de réseaux de neurones. Il fonctionne comme un moteur de machine learning accéléré par GPU avec un cœur implémenté en C++ pour permettre des opérations sur tenseurs à haut débit. Le projet utilise un système de configuration déclaratif où les architectures de modèles et les hyperparamètres sont définis dans des fichiers texte externes, séparant la conception du réseau du code d'exécution. Il inclut un système de sérialisation de modèles pour exporter les poids entraînés et les topologies dans des fichiers binaires pour un déploiement efficace sur différents environnements matériels. Le framework couvre un large éventail de capacités, y compris la conception d'architectures de réseaux de neurones, l'entraînement de modèles supervisés avec optimisation basée sur le gradient et les flux de travail de classification d'images. Il fournit des outils pour le prétraitement des jeux de données, l'extraction de caractéristiques neuronales et le fine-tuning de modèles pré-entraînés. Le cœur C++ est accessible via une interface multi-langage avec des bindings officiels pour Python et MATLAB.

Recognize-anything is a multimodal foundation model designed for image recognition, visual tagging, and the generation of descriptive text captions from visual input. It functions as a multimodal embedding model that maps images and text into a shared vector space to enable cross-modal retrieval and recognition. The system implements zero-shot image classification and open-vocabulary object detection, allowing it to recognize object categories not present in the original training data through custom label embeddings. It also features a visual tagging engine and a captioning system that produc

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,

GraphSAGE is a graph neural network framework designed for inductive representation learning on large-scale graphs. It functions as an inductive graph embedding tool and neighborhood aggregation engine, enabling the generation of numerical node representations that generalize to previously unseen data. The system distinguishes itself by computing node embeddings through the aggregation of features from local neighborhoods rather than relying on a global lookup table. This approach allows the framework to operate as both a supervised graph classifier for predicting categorical node classes and

Instructor-embedding est un framework de traitement du langage naturel (NLP) conçu pour transformer du texte non structuré en vecteurs numériques de haute dimension. En utilisant une architecture d'encodeur basée sur des transformers, le système facilite la récupération sémantique, la classification de données et l'analyse de similarité sur de grands ensembles de données. Le framework se distingue par une projection vectorielle conditionnée par des instructions, qui intègre des instructions en langage naturel directement dans le processus d'embedding pour améliorer les performances sur des tâches spécifiques sans nécessiter d'entraînement supplémentaire. Il fonctionne comme une bibliothèque d'apprentissage contrastif, permettant aux utilisateurs d'affiner (fine-tune) des modèles de langage pré-entraînés sur des jeux de données personnalisés pour créer des embeddings spécialisés pour des domaines de niche. Le projet fournit une suite complète d'outils pour gérer les représentations vectorielles, incluant des capacités de benchmarking de la précision des modèles par rapport à des métriques standardisées et l'indexation des embeddings pour une recherche de similarité rapide. Pour prendre en charge le déploiement dans des environnements aux ressources limitées, le framework inclut des fonctionnalités d'optimisation telles que la quantification de modèle en précision mixte pour réduire l'utilisation de la mémoire et accélérer la vitesse d'inférence.