Awesome GitHub RepositoriesEncoder-Decoder Model Integrations

This repository provides a collection of reference implementations and code examples for training and deploying machine learning models using the MLX framework. It serves as a practical guide for executing distributed training, fine-tuning large language models, converting model weights, and implementing multimodal generative workflows. The project distinguishes itself through specialized examples for local hardware execution, featuring weight quantization to reduce memory usage and low-rank adaptation for parameter-efficient fine-tuning. It also includes scripts for transforming external mod

This project is a comprehensive educational curriculum and structured learning path covering the full lifecycle of large language models. It provides a guided progression through the theory, architecture, training, and deployment of these models. The curriculum includes specialized guides on transformer architecture, model training tutorials, and frameworks for designing autonomous agents. It also provides dedicated resources for studying model safety and ethics. The material covers a wide range of technical capabilities, including distributed training strategies, parameter-efficient fine-tu

The official PyTorch implementation of Google's Gemma models

This is a collection of educational Jupyter Notebook tutorials that teach sequence-to-sequence modeling using PyTorch and TorchText, focused on neural machine translation. The project provides hands-on guides for building and training encoder-decoder architectures with recurrent neural networks like LSTM and GRU, implementing attention mechanisms that allow the decoder to focus on relevant input tokens during sequence generation. The tutorials cover the full pipeline of machine translation, from tokenizing multilingual text using language-specific tokenizers to training multi-layer encoder-de

Qwen2.5-Omni هو نموذج لغوي ضخم متعدد الوسائط وشامل مصمم لمعالجة وتوليد المحتوى عبر النصوص والصوت والرؤية والفيديو. يعمل كذكاء اصطناعي صوتي في الوقت الفعلي، مستخدماً بنية شاملة (End-to-end) للحفاظ على محادثات صوتية متزامنة مع استجابات ذات زمن انتقال منخفض. يركز المشروع على الكفاءة من خلال نماذج الحافة المكممة (Quantized edge models)، مما يسمح بالاستدلال المحلي على أجهزة الجوال والأجهزة ذات الموارد المحدودة. ويستخدم تكميم الأوزان بـ 4 بت، وتفريغ العمليات على وحدة المعالجة المركزية (CPU)، وتحميل الأوزان عند الطلب لتقليل متطلبات ذاكرة GPU. يدمج النظام مشفرات متخصصة لتحليل تدفقات البيانات متعددة الوسائط ويتميز بفك تشفير متدفق لتوليد الكلام في الوقت الفعلي. كما يتضمن إمكانيات لتخصيص صوت الكلام لتعديل الخصائص النغمية والجنسية للمخرجات الصوتية.