Awesome GitHub RepositoriesBinary Cross-Entropy Calculators

This project is a collection of educational examples and code for implementing deep learning architectures using the PyTorch framework. It serves as a tutorial and implementation guide for building various neural network architectures for machine learning tasks. The project provides practical implementations for computer vision, including image classification and neural style transfer, as well as natural language processing examples for building sequence models and language predictors. It also covers generative models using adversarial and variational networks to synthesize or transform visua

This project is a comprehensive educational resource and curriculum designed to teach the mathematical foundations and practical implementation of neural networks. It provides a structured path for understanding how computers learn from data, covering core concepts such as gradient descent, backpropagation, and the biological inspiration behind artificial neurons. The platform distinguishes itself by combining theoretical proofs with hands-on implementation exercises. It demonstrates the universal approximation theorem through visual explanations and guides users in building various architect

dalle-mini is a text-to-image model and generative AI system designed to transform natural language descriptions into synthetic images. It functions as an image generation training toolkit and a generative model capable of creating visual representations from text prompts. The project provides a containerized deployment for consistent execution across different computing environments. It includes the necessary scripts and configuration files to train custom generative models from datasets. The system utilizes an autoregressive transformer architecture that treats visual data as discrete toke

This project is a static educational website and comprehensive curriculum focused on computer vision and deep learning. It serves as a public repository of instructional materials, lecture notes, and technical guides specifically detailing convolutional neural networks and visual recognition. The site is developed using static-site generation to host course documentation and student project directories. It provides structured academic resources that guide learners through image classification, generative modeling, and the implementation of various neural network architectures. The curriculum

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

Liger-Kernel is a collection of pre-built fused Triton kernels and patching utilities designed to accelerate large language model training. It provides drop-in kernel replacements for common LLM operations such as RMSNorm, cross-entropy loss, and attention, enabling increased throughput and reduced memory usage while preserving bitwise-exact gradients. The project serves as a toolkit for composing custom model architectures from individual optimized kernels and for patching pre-existing models with minimal code changes. The project distinguishes itself through its ability to perform runtime m

tiny-dnn is a header-only C++14 deep learning framework for building, training, and running inference on neural networks. It constructs static computational graphs at compile time using template-based layer composition, with a gradient-based backpropagation engine and minibatch stochastic gradient descent for training, all without external dependencies beyond the C++14 standard library. The framework supports importing pre-trained models from the Caffe framework directly, parsing its binary serialization format without requiring external protocol buffer libraries. It provides CPU-optimized te

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a configurable training pipeline orchestrated through YAML recipes, with CLI overrides and component swapping, distributed training via FSDP2, memory optimizations, and parameter-efficient fine-tuning methods like LoRA, DoRA, and QLoRA. The library distinguishes itself through its YAML-driven configuration system that defines all training parameters and instantiates components from config files, with full CLI override capability for any field or component at launch time. It suppo

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

Neuraltalk is an automated image captioning system that generates natural language descriptions for images. It utilizes a deep learning model that integrates a pretrained convolutional neural network for visual feature extraction with a recurrent neural network decoder to produce text sequences. The project provides a full workflow for training and evaluating captioning models, including weight optimization via backpropagation and gradient descent. It includes tools for measuring caption accuracy by comparing generated text against reference descriptions. The system covers data preprocessing

xtuner este un motor de antrenare cuprinzător pentru modele de limbaj mari (LLM), oferind un toolkit pentru pre-antrenare, fine-tuning supervizat și optimizarea modelelor multimodale vision-language. Servește ca un accelerator de antrenare distribuită și un framework specializat pentru scalarea modelelor Mixture-of-Experts și alinierea comportamentului modelului prin învățare prin consolidare din feedback uman (RLHF). Proiectul se distinge prin optimizări avansate de memorie și calcul, cum ar fi paralelismul de secvență pentru ferestre de context ultra-lungi și paralelismul de pipeline intercalat pentru a reduce timpul de inactivitate al GPU-ului. Oferă o suită dedicată pentru optimizarea preferințelor, implementând tehnici precum Group Relative Policy Optimization și Direct Preference Optimization pentru a rafina politicile modelului și sistemele de recompensă. Zonele largi de capabilități acoperă antrenarea distribuită a modelelor pe mai multe noduri, pregătirea seturilor de date multimodale și gestionarea fine-tuning-ului bazat pe adaptoare. Motorul include, de asemenea, instrumente pentru evaluarea modelului, fuziunea ponderilor (weight merging) și exportul parametrilor antrenați către motoarele de inferență. Antrenarea este gestionată prin fișiere de configurare standardizate și launchere distribuite pentru a asigura rezultate consistente pe clusterele de calcul.

LightFM este o bibliotecă Python de recomandare și un framework de machine learning conceput pentru a prezice preferințele utilizatorilor. Implementează un motor de recomandare hibrid care combină filtrarea colaborativă cu filtrarea bazată pe conținut, integrând datele de interacțiune utilizator-item cu metadate descriptive. Sistemul utilizează factorizarea matricială hibridă pentru a învăța reprezentări latente ale utilizatorilor și itemilor. Este conceput special pentru a gestiona feedback-ul implicit, utilizând funcții de pierdere specializate precum Weighted Approximate Rank Pairwise și Bayesian Personalized Ranking pentru a optimiza preferințele pentru seturi de date care nu au ratinguri negative. Biblioteca oferă instrumente pentru antrenarea modelelor prin coborâre pe gradient stocastic, calcularea predicțiilor de preferință pentru itemi și evaluarea preciziei modelului. Suportă clasarea personalizată a itemilor și predicția comportamentului utilizatorilor prin sintetizarea matricelor de interacțiune cu embedding-uri de caracteristici.

Acest proiect este o implementare PyTorch a unei rețele neuronale convoluționale U-Net concepută pentru segmentarea imaginilor la nivel de pixel. Acesta funcționează ca un procesor de imagini biomedicale care generează măști precise pentru a izola structurile anatomice în cadrul imaginilor medicale. Arhitectura utilizează o structură simetrică encoder-decoder pentru a capta contextul și a permite localizarea precisă. Folosește fuziunea de caracteristici prin skip-connection pentru a combina caracteristicile de înaltă rezoluție din calea de contractare cu output-urile upsampled, recuperând detaliile spațiale. Sistemul acoperă antrenarea modelelor de deep learning folosind loss-ul binary cross-entropy și încorporează tehnici de augmentare a datelor, cum ar fi interpolarea cubică, rotația și flipping-ul, pentru a extinde varietatea setului de date de antrenare. Implementarea este furnizată sub formă de Jupyter Notebook.

Acest proiect este un program educațional cuprinzător și un framework de deep learning conceput pentru a preda deep learning practic folosind PyTorch prin notebook-uri și exemple de cod. Servește drept bibliotecă de nivel înalt pentru construirea, antrenarea și implementarea rețelelor neuronale, acționând ca un orchestrator de antrenare a modelelor care coordonează modelele PyTorch, optimizatoarele și funcțiile de loss. Proiectul oferă toolkit-uri specializate pentru computer vision, procesarea limbajului natural și preprocesarea datelor tabelare. Se distinge prin controale avansate de antrenare, cum ar fi rate de învățare discriminative, un sistem de callback bidirecțional pentru personalizarea logicii de antrenare și o abstractizare de nivel înalt a learner-ului care automatizează plasarea pe dispozitiv și buclele de antrenare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția automată a pipeline-urilor de date, analiza arhitecturii modelelor și evaluarea performanței în sarcini de clasificare, regresie și segmentare. Include, de asemenea, utilitare pentru antrenarea distribuită pe mai multe GPU-uri, antrenarea cu precizie mixtă pentru optimizarea memoriei și suport specializat pentru date de imagistică medicală. Proiectul este livrat sub formă de serie de Jupyter Notebooks.

Acest proiect este un framework PyTorch de re-identificare a persoanelor, conceput pentru antrenarea și evaluarea modelelor care identifică indivizi prin diferite unghiuri ale camerelor video. Oferă un pipeline complet de antrenare a modelelor, un extractor de caracteristici deep learning pentru convertirea imaginilor în vectori numerici și o suită de instrumente de benchmarking pentru viziunea artificială pentru a măsura acuratețea regăsirii identității. Framework-ul include un toolkit specializat de transfer learning care suportă înghețarea straturilor, optimizarea etapizată a ratei de învățare și rate de învățare diferențiale pentru fine-tuning-ul modelelor preantrenate. Se distinge printr-un motor extensibil care permite dezvoltarea de logică de antrenare personalizată și implementarea unor obiective de optimizare specifice, cum ar fi hard-sample triplet loss mining și label smoothing. Sistemul acoperă gestionarea cuprinzătoare a seturilor de date, inclusiv suport pentru benchmark-uri standard, eșantionare echilibrată a batch-urilor și augmentarea imaginilor. Oferă utilitare de evaluare pentru calcularea rangurilor de regăsire și a distanțelor dintre caracteristici, precum și instrumente de vizualizare pentru generarea de hărți de activare (heatmaps) și galerii de regăsire clasificate. Proiectul este implementat în Python și utilizează PyTorch pentru operațiunile sale de deep learning.

This is a PyTorch image classification framework designed for training and evaluating convolutional neural networks. It provides a comprehensive library of pre-defined architectures and a training pipeline specifically implemented for the CIFAR-100 benchmark dataset. The framework includes a variety of convolutional neural network implementations, ranging from standard research models to lightweight versions optimized for mobile devices. It features a modular model registry to initialize specific architectures and a benchmarking system to compare the effectiveness of different network designs

This is an educational implementation that builds a generative pre-trained transformer (GPT) language model from scratch using PyTorch. The project is structured as a step-by-step tutorial, walking through the construction of a decoder-only transformer architecture and its training loop with clean git commits and an accompanying video lecture for a hands-on learning experience. What sets this implementation apart is its focus on practical reproduction: it provides a workflow to train a 124-million-parameter model from scratch in about one hour on cloud GPU hardware, costing under ten dollars.

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

Acest proiect este un framework de clasificare a textului în limba chineză bazat pe PyTorch. Oferă un pipeline bazat pe transformatoare, conceput pentru a categorisi secvențele în limba chineză în etichete predefinite folosind modele de deep learning. Implementarea suportă atât modelele de limbaj BERT, cât și ERNIE pentru procesarea și etichetarea textului complex în chineză. Aceste modele sunt utilizate pentru a efectua sarcini precum analiza sentimentelor și categorizarea generală a textului. Sistemul utilizează codificarea textului bazată pe transformatoare și pooling-ul secvențelor ponderat prin atenție pentru a converti caracterele brute în vectori de document. Utilizează fine-tuning-ul modelelor pre-antrenate și optimizarea cross-entropy loss pentru a adapta modelele la sarcini specifice de clasificare.