Awesome GitHub RepositoriesZero-Shot Classification Models

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

This project is a research library and toolkit for deep learning computer vision, focused on implementing transformer and mixer-based architectures for image classification. It processes visual data by converting images into sequences of patches, allowing standard attention mechanisms to capture global dependencies without relying on traditional convolutional operations. The framework distinguishes itself through its support for multimodal embedding analysis, which maps images and text into a shared latent vector space. This capability enables zero-shot classification and cross-modal retrieva

This PyTorch-based deep learning library provides a framework for analyzing and forecasting temporal data. It implements specialized architectures for time series forecasting, anomaly detection, data imputation, and classification. The project distinguishes itself through the inclusion of zero-shot inference capabilities, allowing large-scale temporal models to be evaluated on unseen datasets without requiring task-specific fine-tuning. The framework covers a broad range of analytical capabilities, including the recovery of missing values in incomplete datasets, the identification of irregul

This project is a multimodal translation framework and large language model capable of speech-to-speech, speech-to-text, and text-to-text translation across nearly 100 languages. It provides a real-time speech translation engine and a comprehensive toolkit for converting spoken audio between languages. The system is distinguished by its ability to preserve the original speaker's tone, pace, and prosody during translation. It utilizes a specialized on-device inference toolkit that converts model checkpoints into C-based libraries, enabling low-latency execution on mobile and edge hardware with

InternVL is a vision-language model framework that fuses a visual encoder with a large language model to translate image features into textual tokens for reasoning. It provides a system for multimodal inference and dialogue, enabling the processing of images and text to answer questions or generate descriptions. The project is distinguished by its high-resolution image processing, which uses dynamic tiling to maintain detail for images up to 4K resolution, and its chain-of-thought visual reasoning for solving complex mathematical and spatial problems. It also supports temporal frame sampling

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

ImageBind is a multi-modal embedding model and joint representation learner that maps images, text, audio, and other modalities into a single shared vector space. It functions as a cross-modal retrieval framework designed to bind multiple sensory inputs into one cohesive mathematical embedding. The system uses a contrastive learning architecture to align disparate data types by maximizing the similarity between related samples. This allows the model to perform zero-shot multimodal classification and execute cross-modal data retrieval, such as locating visual content via natural language descr

Skorch ist eine Bibliothek, die PyTorch-neuronale Netze in ein scikit-learn-kompatibles Interface einbettet, wodurch Deep-Learning-Modelle innerhalb standardmäßiger Machine-Learning-Pipelines und Hyperparameter-Optimierungstools verwendet werden können. Sie fungiert als Datenadapter, Trainingsmanager und Optimierungstool, das die Lücke zwischen Deep-Learning-Modulen und konventionellen Machine-Learning-Workflows schließt. Das Projekt zeichnet sich dadurch aus, dass es ein Toolkit zur Automatisierung des PyTorch-Trainings-Lifecycles bereitstellt, einschließlich integriertem Checkpointing, Early Stopping und Learning-Rate-Scheduling. Zudem ermöglicht es Transfer Learning durch Utilities zum Einfrieren spezifischer Modell-Layer und zum Fine-Tuning vortrainierter Gewichte für spezialisierte Aufgaben. Das Funktionsspektrum erstreckt sich auf Datentransformation, einschließlich der Konvertierung tabellarischer Daten und numerischer Arrays in Tensor-Formate sowie der Registrierung von Text-Tokenizern. Es bietet zudem Tools für die Auswahl von Hardwarebeschleunigung, Just-in-Time-Modulkompilierung und probabilistische Datenmodellierung zur Unsicherheitsquantifizierung. Das System enthält Utilities zum Mapping von Hyperparametern auf Kommandozeilenargumente, um reproduzierbare Experimente zu gewährleisten.

Muzic ist eine Deep-Learning-Plattform und ein Framework für KI-gestützte Musikanalyse, Komposition und Synthese. Es fungiert als Musikgenerierungs-Framework und Analysetool, das große Sprachmodelle und autonome Agenten nutzt, um die Erstellung und Interpretation symbolischer und auditiver Musik zu orchestrieren. Das Projekt zeichnet sich durch seine cross-modale Fähigkeiten aus, bei denen natürliche Sprache und symbolische Musik in einen gemeinsamen Embedding-Raum für Zero-Shot-Klassifizierung und Informationsabruf abgebildet werden. Es verwendet eine Vielzahl spezialisierter Architekturen, einschließlich Diffusions-Frameworks für die Audiosynthese, Dual-Grain-Aufmerksamkeitsmechanismen für strukturelle Konsistenz bei langen Sequenzen und ein hybrides System, das musiktheoretische Regeln mit neuronalen Netzwerken kombiniert. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich der Generierung von MIDI-Sequenzen aus Text und Liedtexten, neuronaler Gesangssynthese und automatisierter Liedtext-Transkription. Sie bietet zudem Tools für die Modellierung von Musikstrukturen, attributbasierte symbolische Generierung und die Orchestrierung externer Musiktools über autonome Agenten. Unterstützende Dienstprogramme umfassen Data-Engineering-Pipelines für die MIDI-Binarisierung im großen Maßstab, Datensatz-Kodierung und Audiosignalverarbeitung für die Extraktion von Melodienoten und die Ausrichtung von Sprache zu Phonemen.

Spark NLP is a toolkit for scalable text analysis and machine learning built on the Apache Spark distributed computing framework. It provides a multimodal machine learning framework and a distributed pipeline system for sequencing annotators to process large-scale linguistic data. The library includes a transformer text processor for generating contextual vector embeddings and a dedicated inference engine for managing large language models. The project distinguishes itself through its ability to process heterogeneous data types, including text, audio, and images, within a unified vision-langu

Nixtla ist eine Zeitreihenanalyse-Plattform, die auf einem Transformer-basierten Foundation-Modell basiert. Sie bietet Zero-Shot-Inferenz für Prognosen und Anomalieerkennung, wodurch das System zukünftige Werte für neue Zeitreihen vorhersagen kann, ohne dass ein Modell-Retraining erforderlich ist. Das Projekt ist für Analysen im großen Maßstab konzipiert und nutzt verteilte Inferenz-Skalierung und Prognose-Parallelisierung, um Millionen von Datenreihen zu verarbeiten. Es unterstützt Fine-Tuning-Anpassungen, um vortrainierte Gewichte für domänenspezifische Datensätze anzupassen, und bietet Bereitstellungsoptionen, die von lokaler Ausführung und privaten Containern bis hin zur Integration als Stored Procedures innerhalb von Snowflake reichen. Die Funktionen umfassen Prognosen für lange Horizonte und intermittierende Nachfrage, What-if-Szenarioanalysen und die Quantifizierung von Prognoseunsicherheiten. Das System bietet zudem eine vollständige Data-Engineering-Pipeline zum Prüfen, Bereinigen und Anreichern von Zeitreihendaten mit exogenen Variablen und datumsbasierten Indikatoren. Die Modellzuverlässigkeit wird durch Cross-Validation-Backtesting, Validierung der Prognosegenauigkeit und Experiment-Tracking für Hyperparameter-Logging verwaltet.

This project is a research framework and toolkit designed for training large-scale vision transformers and multimodal language models. It provides a comprehensive suite for vision-language pretraining, enabling the development of models that map images and text into shared latent spaces. The framework is distinguished by its capabilities in high-fidelity image generation and multimodal research, utilizing normalizing flows and variational autoencoders to produce images from text prompts or class labels. It supports the development of both generative and contrastive models, allowing for a wide

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model