Awesome GitHub RepositoriesEncoder-Decoder Model Integrations

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

This project is a comprehensive educational curriculum and structured learning path covering the full lifecycle of large language models. It provides a guided progression through the theory, architecture, training, and deployment of these models. The curriculum includes specialized guides on transformer architecture, model training tutorials, and frameworks for designing autonomous agents. It also provides dedicated resources for studying model safety and ethics. The material covers a wide range of technical capabilities, including distributed training strategies, parameter-efficient fine-tu

The official PyTorch implementation of Google's Gemma models

This is a collection of educational Jupyter Notebook tutorials that teach sequence-to-sequence modeling using PyTorch and TorchText, focused on neural machine translation. The project provides hands-on guides for building and training encoder-decoder architectures with recurrent neural networks like LSTM and GRU, implementing attention mechanisms that allow the decoder to focus on relevant input tokens during sequence generation. The tutorials cover the full pipeline of machine translation, from tokenizing multilingual text using language-specific tokenizers to training multi-layer encoder-de

Qwen2.5-Omni est un modèle de langage multimodal omnicanal conçu pour traiter et générer du contenu textuel, audio, visuel et vidéo. Il fonctionne comme une IA vocale en temps réel, utilisant une architecture de bout en bout pour maintenir des conversations vocales synchrones avec des réponses à faible latence. Le projet met l'accent sur l'efficacité grâce à des modèles de périphérie quantifiés, permettant une inférence locale sur du matériel mobile et des appareils aux ressources limitées. Il emploie une quantification de poids 4 bits, un déchargement des processus sur CPU et un chargement des poids à la demande pour réduire les besoins en mémoire GPU. Le système intègre des encodeurs spécialisés pour analyser les flux de données multimodaux et dispose d'un décodeur en streaming pour la génération vocale en temps réel. Il inclut également des capacités de personnalisation de la voix pour modifier les caractéristiques tonales et le genre de la sortie audio.