3 repository-uri
Awesome GitHub RepositoriesMulti-Modal Data Processing
Tools and interfaces for managing and preprocessing diverse media types such as text, image, audio, and video for AI training.
Distinct from Cross-Modal Context Management: None of the candidates cover the general CLI-based processing of multiple modalities before training; they focus on retrieval, binding, or context management.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Multi-Modal Data Processing. Refine with filters or upvote what's useful.
Awesome Multi-Modal Data Processing GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- pku-alignment/align-anything
PKU-Alignment/align-anything
4,661Vezi pe GitHubAlign-anything este un framework de aliniere pentru modele de limbaj mari (LLM) multimodale, conceput pentru a ajusta modelele pe text, imagini, video și audio. Funcționează ca un orchestrator de antrenare distribuită și un set de instrumente pentru implementarea învățării bazate pe preferințe, asigurându-se că comportamentul modelului corespunde intențiilor și valorilor umane. Framework-ul oferă pipeline-uri specializate pentru Supervised Fine-Tuning și Direct Preference Optimization. Include un wrapper pentru motorul de inferență de înaltă performanță pentru modelele de tip actor, reducând timpul de generare a secvențelor, și un mediu de antrenare dedicat pentru rafinarea modelelor vision-language-action utilizate în robotică. Sistemul gestionează procesarea datelor multimodale printr-o interfață în linie de comandă (CLI) și suportă implementarea automatizată a sarcinilor de antrenare pe clustere hardware cu resurse gestionate. Capabilitățile sale acoperă implementarea algoritmilor de aliniere, fine-tuning multimodal și optimizarea resurselor hardware.
Includes a command-line interface to manage and streamline the processing of diverse media inputs before training.
Python - flagai-open/flagai
FlagAI-Open/FlagAI
3,870Vezi pe GitHubFlagAI is a distributed deep learning framework and platform designed for the end-to-end lifecycle of large-scale foundation models. It provides a toolkit for training, fine-tuning, and deploying large language models and multi-modal systems across multi-node computing clusters. The project features hardware-agnostic compute abstractions to ensure consistent execution across different accelerators. It includes a dedicated library for parameter-efficient fine-tuning, allowing large neural networks to be adapted to specific tasks with minimal parameter updates and reduced computational overhead
Provides a unified execution interface for processing diverse data types like text and images.
Python - open-mmlab/mmpretrain
open-mmlab/mmpretrain
3,842Vezi pe GitHubmmpretrain is a modular PyTorch computer vision framework designed for developing, training, and benchmarking deep learning architectures. It serves as a comprehensive toolkit for vision tasks, providing a specialized platform for multimodal machine learning and self-supervised learning. The project features a computer vision model zoo containing architectural definitions and pre-trained weights for backbones such as ViT, ConvNeXt, and Swin Transformer. It distinguishes itself through a dedicated self-supervised learning toolkit that implements algorithms like MAE and DINO to train models wit
Processes diverse media types through specialized encoders and shared embedding spaces for joint image and text analysis.
Pythonbeitclipconstrastive-learning
