Awesome GitHub RepositoriesBinary Cross-Entropy Calculators

This project is a collection of educational examples and code for implementing deep learning architectures using the PyTorch framework. It serves as a tutorial and implementation guide for building various neural network architectures for machine learning tasks. The project provides practical implementations for computer vision, including image classification and neural style transfer, as well as natural language processing examples for building sequence models and language predictors. It also covers generative models using adversarial and variational networks to synthesize or transform visua

This project is a comprehensive educational resource and curriculum designed to teach the mathematical foundations and practical implementation of neural networks. It provides a structured path for understanding how computers learn from data, covering core concepts such as gradient descent, backpropagation, and the biological inspiration behind artificial neurons. The platform distinguishes itself by combining theoretical proofs with hands-on implementation exercises. It demonstrates the universal approximation theorem through visual explanations and guides users in building various architect

dalle-mini is a text-to-image model and generative AI system designed to transform natural language descriptions into synthetic images. It functions as an image generation training toolkit and a generative model capable of creating visual representations from text prompts. The project provides a containerized deployment for consistent execution across different computing environments. It includes the necessary scripts and configuration files to train custom generative models from datasets. The system utilizes an autoregressive transformer architecture that treats visual data as discrete toke

This project is a static educational website and comprehensive curriculum focused on computer vision and deep learning. It serves as a public repository of instructional materials, lecture notes, and technical guides specifically detailing convolutional neural networks and visual recognition. The site is developed using static-site generation to host course documentation and student project directories. It provides structured academic resources that guide learners through image classification, generative modeling, and the implementation of various neural network architectures. The curriculum

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

Liger-Kernel is a collection of pre-built fused Triton kernels and patching utilities designed to accelerate large language model training. It provides drop-in kernel replacements for common LLM operations such as RMSNorm, cross-entropy loss, and attention, enabling increased throughput and reduced memory usage while preserving bitwise-exact gradients. The project serves as a toolkit for composing custom model architectures from individual optimized kernels and for patching pre-existing models with minimal code changes. The project distinguishes itself through its ability to perform runtime m

tiny-dnn is a header-only C++14 deep learning framework for building, training, and running inference on neural networks. It constructs static computational graphs at compile time using template-based layer composition, with a gradient-based backpropagation engine and minibatch stochastic gradient descent for training, all without external dependencies beyond the C++14 standard library. The framework supports importing pre-trained models from the Caffe framework directly, parsing its binary serialization format without requiring external protocol buffer libraries. It provides CPU-optimized te

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing

xtuner هو محرك تدريب شامل للنماذج اللغوية الكبيرة، يقدم مجموعة أدوات للتدريب المسبق، والضبط الدقيق الخاضع للإشراف، وتحسين النماذج متعددة الوسائط للرؤية واللغة. يعمل كمسرع تدريب موزع وإطار عمل متخصص لتوسيع نطاق نماذج خليط الخبراء (Mixture-of-Experts) ومواءمة سلوك النموذج من خلال التعلم التعزيزي من التغذية الراجعة البشرية. يتميز المشروع بتحسينات متقدمة للذاكرة والحوسبة، مثل توازي التسلسل لنوافذ السياق الطويلة جداً وتوازي خط الأنابيب المتداخل لتقليل وقت خمول GPU. يوفر مجموعة مخصصة لتحسين التفضيلات، وتنفيذ تقنيات مثل تحسين السياسة النسبية للمجموعة وتحسين التفضيل المباشر لتحسين سياسات النموذج وأنظمة المكافآت. تغطي مجالات الإمكانيات الواسعة تدريب النماذج الموزعة عبر عقد متعددة، وإعداد مجموعات البيانات متعددة الوسائط، وإدارة الضبط الدقيق القائم على المحولات. يتضمن المحرك أيضاً أدوات لتقييم النموذج، ودمج الأوزان، وتصدير المعلمات المدربة إلى محركات الاستنتاج. تتم إدارة التدريب عبر ملفات تكوين موحدة ومشغلات موزعة لضمان نتائج متسقة عبر مجموعات الحوسبة.

LightFM هي مكتبة توصيات Python وإطار عمل لتعلم الآلة مصمم للتنبؤ بتفضيلات المستخدم. تنفذ محرك توصيات هجين يجمع بين التصفية التعاونية وتصفية المحتوى من خلال دمج بيانات تفاعل المستخدم مع العنصر مع البيانات الوصفية الوصفية. يستخدم النظام تحليل المصفوفة الهجين لتعلم التمثيلات الكامنة للمستخدمين والعناصر. وهو مصمم خصيصاً للتعامل مع التعليقات الضمنية، باستخدام وظائف خسارة متخصصة مثل Weighted Approximate Rank Pairwise و Bayesian Personalized Ranking لتحسين تفضيلات العناصر لمجموعات البيانات التي تفتقر إلى التقييمات السلبية. توفر المكتبة أدوات لتدريب النماذج عبر الانحدار العشوائي، وحساب تنبؤات تفضيلات العناصر، وتقييم دقة النموذج. وهي تدعم ترتيب العناصر المخصص والتنبؤ بسلوك المستخدم من خلال تجميع مصفوفات التفاعل مع تضمينات الميزات.

هذا المشروع عبارة عن تطبيق PyTorch لشبكة عصبية تلافيفية U-Net مصممة لتقسيم الصور على مستوى البكسل. يعمل كمعالج للصور الطبية الحيوية يقوم بتوليد أقنعة دقيقة لعزل الهياكل التشريحية داخل الصور الطبية. تستخدم المعمارية هيكل تشفير-فك تشفير متماثل لالتقاط السياق وتمكين التوطين الدقيق. توظف دمج ميزات الاتصال التخطي (skip-connection) للجمع بين الميزات عالية الدقة من مسار الانكماش مع المخرجات المرفوعة، مما يستعيد التفاصيل المكانية. يغطي النظام تدريب نماذج التعلم العميق باستخدام خسارة الإنتروبيا المتقاطعة الثنائية ويدمج تقنيات زيادة البيانات، مثل الاستيفاء التكعيبي، والتدوير، والقلب، لتوسيع تنوع مجموعة بيانات التدريب. يتم توفير التنفيذ كدفتر Jupyter.

This repository is a comprehensive educational program and deep learning framework designed to teach practical deep learning using PyTorch through notebooks and code examples. It serves as a high-level library for building, training, and deploying neural networks, acting as a model training orchestrator that coordinates PyTorch models, optimizers, and loss functions. The project provides specialized toolkits for computer vision, natural language processing, and tabular data preprocessing. It distinguishes itself through advanced training controls such as discriminative learning rates, a two-w

هذا المشروع عبارة عن إطار عمل PyTorch لإعادة تحديد هوية الأشخاص مصمم لتدريب وتقييم النماذج التي تحدد الأفراد عبر مشاهد كاميرا مختلفة. يوفر خط أنابيب تدريب نموذج كامل، ومستخرج ميزات تعلم عميق لتحويل الصور إلى متجهات رقمية، ومجموعة من أدوات قياس الرؤية الحاسوبية لقياس دقة استرجاع الهوية. يتضمن إطار العمل مجموعة أدوات تعلم نقل متخصصة تدعم تجميد الطبقات، وتحسين معدل التعلم المرحلي، ومعدلات تعلم تفاضلية لضبط النماذج المدربة مسبقاً. يتميز بمحرك قابل للتوسيع يسمح بتطوير منطق تدريب مخصص وتنفيذ أهداف تحسين محددة مثل تعدين خسارة الثلاثي للعينة الصعبة وتنعيم التسميات. يغطي النظام إدارة شاملة لمجموعات البيانات، بما في ذلك دعم المعايير القياسية، وأخذ عينات الدفعات المتوازنة، وتعزيز الصور. يوفر أدوات تقييم لحساب رتب الاسترجاع ومسافات الميزات، بالإضافة إلى أدوات تصور لتوليد خرائط حرارة التنشيط ومعارض الاسترجاع المصنفة. تم تنفيذ المشروع بلغة Python ويستفيد من PyTorch لعمليات التعلم العميق الخاصة به.

This is a PyTorch image classification framework designed for training and evaluating convolutional neural networks. It provides a comprehensive library of pre-defined architectures and a training pipeline specifically implemented for the CIFAR-100 benchmark dataset. The framework includes a variety of convolutional neural network implementations, ranging from standard research models to lightweight versions optimized for mobile devices. It features a modular model registry to initialize specific architectures and a benchmarking system to compare the effectiveness of different network designs

This is an educational implementation that builds a generative pre-trained transformer (GPT) language model from scratch using PyTorch. The project is structured as a step-by-step tutorial, walking through the construction of a decoder-only transformer architecture and its training loop with clean git commits and an accompanying video lecture for a hands-on learning experience. What sets this implementation apart is its focus on practical reproduction: it provides a workflow to train a 124-million-parameter model from scratch in about one hour on cloud GPU hardware, costing under ten dollars.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

هذا المشروع عبارة عن إطار عمل لتصنيف النصوص الصينية يعتمد على PyTorch. يوفر خط معالجة قائماً على المحولات (transformer-based) مصمماً لتصنيف تسلسلات اللغة الصينية إلى تسميات محددة مسبقاً باستخدام نماذج التعلم العميق. يدعم التنفيذ كلاً من نماذج اللغة BERT و ERNIE لمعالجة ووسم النصوص الصينية المعقدة. تُستخدم هذه النماذج لأداء مهام مثل تحليل المشاعر وتصنيف النصوص العام. يستخدم النظام ترميز النصوص القائم على المحولات وتجميع التسلسل الموزون بالانتباه (attention-weighted) لتحويل الأحرف الخام إلى متجهات مستندات. كما يوظف ضبط النماذج المدربة مسبقاً (fine-tuning) وتحسين خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لتكييف النماذج مع مهام تصنيف محددة.