Awesome GitHub RepositoriesZero-Shot Classification Models

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

This project is a research library and toolkit for deep learning computer vision, focused on implementing transformer and mixer-based architectures for image classification. It processes visual data by converting images into sequences of patches, allowing standard attention mechanisms to capture global dependencies without relying on traditional convolutional operations. The framework distinguishes itself through its support for multimodal embedding analysis, which maps images and text into a shared latent vector space. This capability enables zero-shot classification and cross-modal retrieva

This PyTorch-based deep learning library provides a framework for analyzing and forecasting temporal data. It implements specialized architectures for time series forecasting, anomaly detection, data imputation, and classification. The project distinguishes itself through the inclusion of zero-shot inference capabilities, allowing large-scale temporal models to be evaluated on unseen datasets without requiring task-specific fine-tuning. The framework covers a broad range of analytical capabilities, including the recovery of missing values in incomplete datasets, the identification of irregul

This project is a multimodal translation framework and large language model capable of speech-to-speech, speech-to-text, and text-to-text translation across nearly 100 languages. It provides a real-time speech translation engine and a comprehensive toolkit for converting spoken audio between languages. The system is distinguished by its ability to preserve the original speaker's tone, pace, and prosody during translation. It utilizes a specialized on-device inference toolkit that converts model checkpoints into C-based libraries, enabling low-latency execution on mobile and edge hardware with

InternVL is a vision-language model framework that fuses a visual encoder with a large language model to translate image features into textual tokens for reasoning. It provides a system for multimodal inference and dialogue, enabling the processing of images and text to answer questions or generate descriptions. The project is distinguished by its high-resolution image processing, which uses dynamic tiling to maintain detail for images up to 4K resolution, and its chain-of-thought visual reasoning for solving complex mathematical and spatial problems. It also supports temporal frame sampling

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

Skorch este o bibliotecă ce învelește rețelele neuronale PyTorch într-o interfață compatibilă cu scikit-learn, permițând utilizarea modelelor de deep learning în cadrul pipeline-urilor standard de machine learning și al instrumentelor de optimizare a hiperparametrilor. Funcționează ca un adaptor de date, manager de antrenament și instrument de optimizare care face legătura între modulele de deep learning și fluxurile de lucru convenționale de machine learning. Proiectul se distinge prin furnizarea unui set de instrumente pentru automatizarea ciclului de viață al antrenamentului PyTorch, inclusiv checkpointing integrat, oprire timpurie (early stopping) și programarea ratei de învățare. Permite în continuare transfer learning-ul prin utilitare pentru înghețarea unor straturi specifice ale modelului și fine-tuning-ul ponderilor pre-antrenate pentru sarcini specializate. Suprafața de capabilități se extinde la transformarea datelor, inclusiv conversia datelor tabelare și a array-urilor numerice în formate tensoriale și înregistrarea tokenizatoarelor de text. Oferă, de asemenea, instrumente pentru selectarea accelerării hardware, compilarea modulelor just-in-time și modelarea probabilistică a datelor pentru cuantificarea incertitudinii. Sistemul include utilitare pentru maparea hiperparametrilor la argumentele liniei de comandă pentru a asigura experimente reproductibile.

Muzic este o platformă și un framework de deep learning pentru analiza, compoziția și sinteza muzicală bazată pe AI. Acesta funcționează ca un framework de generare muzicală și instrument de analiză, utilizând modele de limbaj mari și agenți autonomi pentru a orchestra crearea și interpretarea muzicii simbolice și audio. Proiectul se distinge prin capabilitățile sale cross-modal, mapând limbajul natural și muzica simbolică într-un spațiu de embedding comun pentru clasificare zero-shot și regăsirea informațiilor. Utilizează o varietate de arhitecturi specializate, inclusiv framework-uri de difuzie pentru sinteza audio, mecanisme de atenție dual-grain pentru consistența structurală a secvențelor lungi și un sistem hibrid care combină regulile teoriei muzicale cu rețelele neuronale. Platforma acoperă o gamă largă de capabilități, inclusiv generarea de secvențe MIDI din text și versuri, sinteza vocală neuronală și transcrierea automată a versurilor. De asemenea, oferă instrumente pentru modelarea structurii muzicale, generarea simbolică bazată pe atribute și orchestrarea instrumentelor muzicale externe prin agenți autonomi. Utilitarele de suport includ pipeline-uri de inginerie a datelor pentru binarizarea MIDI la scară largă, codificarea seturilor de date și procesarea semnalului audio pentru extragerea notelor melodice și alinierea vorbirii la foneme.

Spark NLP este un toolkit pentru analiza scalabilă a textului și machine learning, construit pe framework-ul de calcul distribuit Apache Spark. Oferă un framework de machine learning multimodal și un sistem de pipeline distribuit pentru secvențierea adnotatoarelor în vederea procesării datelor lingvistice la scară largă. Biblioteca include un procesor de text de tip transformer pentru generarea de embedding-uri vectoriale contextuale și un motor de inferență dedicat pentru gestionarea modelelor de limbaj mari (LLM). Proiectul se distinge prin capacitatea sa de a procesa tipuri de date eterogene, inclusiv text, audio și imagini, într-o arhitectură unificată vision-language. Suportă capabilități avansate de AI generativ, cum ar fi prompt engineering, extracția structurată a entităților cu output JSON constrâns și inferența locală pentru a elimina latența rețelei. În plus, oferă instrumente pentru traducerea între limbi și clasificare zero-shot pe modalități de text și imagine. Framework-ul acoperă o gamă largă de capabilități, inclusiv antrenarea modelelor supervizate pentru recunoașterea entităților și analiza sentimentelor, precum și răspunsul extractiv la întrebări și sumarizarea documentelor. Integrează suport pentru baze de date vectoriale pentru căutarea de similaritate și oferă infrastructură pentru accelerare GPU și gestionarea ciclului de viață al modelelor printr-un registru centralizat. Toolkit-ul permite distribuirea modelelor și pipeline-urilor personalizate printr-un repository public și suportă implementarea modelelor prin API-uri REST.

Nixtla este o platformă de analiză a seriilor temporale centrată pe un model de bază bazat pe transformer. Oferă inferență zero-shot pentru prognoză și detectarea anomaliilor, permițând sistemului să prezică valori viitoare pentru noi serii temporale fără a necesita reantrenarea modelului. Proiectul este conceput pentru analiză la scară largă, utilizând scalarea inferenței distribuite și paralelizarea prognozelor pentru a procesa milioane de serii de date. Suportă adaptarea prin fine-tuning pentru a ajusta ponderile preantrenate pentru seturi de date specifice domeniului și oferă opțiuni de implementare variind de la execuție locală și containere private până la integrarea ca proceduri stocate în Snowflake. Capabilitățile includ prognoza cererii pe termen lung și intermitente, analiza scenariilor „ce-ar fi dacă” și cuantificarea incertitudinii predicțiilor. Sistemul oferă, de asemenea, un pipeline complet de inginerie a datelor pentru auditarea, curățarea și îmbogățirea datelor seriilor temporale cu variabile exogene și indicatori bazați pe dată. Fiabilitatea modelului este gestionată prin backtesting cu validare încrucișată, validarea acurateței prognozei și urmărirea experimentelor pentru logarea hiperparametrilor.

This project is a research framework and toolkit designed for training large-scale vision transformers and multimodal language models. It provides a comprehensive suite for vision-language pretraining, enabling the development of models that map images and text into shared latent spaces. The framework is distinguished by its capabilities in high-fidelity image generation and multimodal research, utilizing normalizing flows and variational autoencoders to produce images from text prompts or class labels. It supports the development of both generative and contrastive models, allowing for a wide

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model