Awesome GitHub RepositoriesTraining Dataset Processing

This repository is a collection of Jupyter notebooks providing reference implementations and templates for building, training, and deploying machine learning models using Amazon SageMaker. It serves as an example library for implementing model architectures and automating the machine learning lifecycle. The library provides practical patterns for machine learning training, data engineering, and model deployment. It includes implementation guides for MLOps, including workflows for model monitoring, lineage tracking, and hyperparameter tuning. The examples cover a broad range of capabilities i

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

This project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili

Feast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr

MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

Acest proiect este o serie de tutoriale de deep learning și un curriculum educațional conceput pentru a preda fundamentele PyTorch. Servește ca ghid de antrenament structurat pentru stăpânirea arhitecturii rețelelor neuronale, diferențierea automată și utilizarea tensorilor și a grafurilor de calcul dinamice. Curriculum-ul se concentrează pe implementări practice, ghidând în mod specific dezvoltarea sistemelor de recomandare, a modelelor de publicitate și a rețelelor de interese pentru a prezice preferințele utilizatorilor. Oferă, de asemenea, conținut instrucțional pentru prognoza seriilor temporale și procesarea datelor secvențiale. Materialul acoperă o gamă largă de capabilități de deep learning, inclusiv construcția modelelor pentru clasificarea imaginilor și a textului, precum și a datelor structurate. Încorporează fluxuri de lucru pentru accelerarea GPU, vizualizarea metricilor de antrenament și crearea de interfețe bazate pe web pentru a testa predicțiile modelului. Proiectul este livrat sub formă de colecție de Jupyter Notebooks.

River este un framework Python pentru online machine learning, conceput pentru a antrena și evalua modele pe date de tip streaming. Permite învățarea incrementală prin actualizarea parametrilor modelului la fiecare observație, eliminând nevoia de a stoca seturi de date complete de antrenament în memorie. Biblioteca se distinge printr-un sistem dedicat de detectare a concept drift-ului, care monitorizează schimbările în distribuțiile datelor pentru a declanșa adaptarea modelului. De asemenea, oferă un framework de validare progresivă care simulează deployment-ul în timp real prin testarea modelelor pe eșantioane înainte de a le utiliza pentru antrenament. Sistemul acoperă o gamă largă de capabilități de streaming, inclusiv feature engineering în timp real, prognoza seriilor temporale și detectarea anomaliilor online. Suportă învățarea nesupervizată prin clustering incremental și arbori de decizie, precum și agregarea de tip ensemble și politici de tip bandit pentru selecția modelelor. Proiectul include utilitare pentru ingestia de date de streaming din surse precum fișiere CSV și API-uri, precum și instrumente pentru calcularea statisticilor în mișcare și a schițelor de date eficiente din punct de vedere al memoriei.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Acest proiect este un framework de aliniere și o suită de pipeline-uri pentru antrenarea modelelor de limbaj folosind fine-tuning supervizat și optimizarea preferințelor. Oferă instrumente pentru executarea antrenării distribuite la scară largă pe mai multe GPU-uri și noduri de calcul, alături de un sistem pentru măsurarea utilității modelului și a calității dialogului prin benchmark-uri single-turn și multi-turn. Framework-ul include instrumente specializate pentru optimizarea directă a preferințelor (DPO) pentru a rafina comportamentul modelului folosind date pereche, fără a fi nevoie de un model de recompensă separat. De asemenea, suportă alinierea prin AI constituțional și antrenarea modelelor de recompensă pentru a clasifica și puncta răspunsurile pe baza criteriilor de preferință. Proiectul acoperă capabilități mai largi pentru amestecarea seturilor de date, fine-tuning eficient din punct de vedere al parametrilor prin adaptare low-rank (LoRA) și optimizarea prin eșantionare de respingere. Gestionează ciclul de viață al antrenării prin rețete bazate pe configurație și oferă sisteme pentru streaming-ul metricilor de performanță în timp real către dashboard-uri externe.

PCDet este un set de instrumente pentru detecția obiectelor 3D din date LiDAR și o bibliotecă de procesare a norilor de puncte construită pe framework-ul de deep learning PyTorch. Oferă un sistem pentru identificarea și localizarea obiectelor tridimensionale în datele de tip nor de puncte. Proiectul utilizează un model de separare date-model pentru a decupla logica de încărcare a seturilor de date de pipeline-ul principal de detecție. Dispune de un pipeline de fuziune multi-senzor care combină datele de la mai mulți senzori într-o vedere spațială comună și un sistem de antrenare distribuită pe GPU pentru a scala sarcinile de lucru pe mai multe procesoare grafice. Toolkit-ul acoperă mai multe domenii de capabilități, inclusiv extracția de caracteristici bazată pe voxeli și analiza temporală a norilor de puncte prin fuziunea multi-cadru. De asemenea, încorporează optimizări de performanță pentru intersecția peste reuniune (IoU) 3D accelerată pe GPU și suprimarea non-maxime rotite.

MuseTalk is a deep learning lip synchronization system designed to align video facial movements with audio tracks for high-fidelity video dubbing. It functions as an engine that matches facial expressions to audio input in real-time, enabling the modification of a speaker's lip movements to match new audio sources across different languages. The project features a distributed GPU training pipeline and a multi-stage processing workflow for refining the visual accuracy of synthetic speech. It distinguishes itself through the use of region-specific face masking and mouth openness control, which

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

xtuner este un motor de antrenare cuprinzător pentru modele de limbaj mari (LLM), oferind un toolkit pentru pre-antrenare, fine-tuning supervizat și optimizarea modelelor multimodale vision-language. Servește ca un accelerator de antrenare distribuită și un framework specializat pentru scalarea modelelor Mixture-of-Experts și alinierea comportamentului modelului prin învățare prin consolidare din feedback uman (RLHF). Proiectul se distinge prin optimizări avansate de memorie și calcul, cum ar fi paralelismul de secvență pentru ferestre de context ultra-lungi și paralelismul de pipeline intercalat pentru a reduce timpul de inactivitate al GPU-ului. Oferă o suită dedicată pentru optimizarea preferințelor, implementând tehnici precum Group Relative Policy Optimization și Direct Preference Optimization pentru a rafina politicile modelului și sistemele de recompensă. Zonele largi de capabilități acoperă antrenarea distribuită a modelelor pe mai multe noduri, pregătirea seturilor de date multimodale și gestionarea fine-tuning-ului bazat pe adaptoare. Motorul include, de asemenea, instrumente pentru evaluarea modelului, fuziunea ponderilor (weight merging) și exportul parametrilor antrenați către motoarele de inferență. Antrenarea este gestionată prin fișiere de configurare standardizate și launchere distribuite pentru a asigura rezultate consistente pe clusterele de calcul.

Acest proiect este un framework de transfer de stil neuronal care oferă o suită de instrumente de computer vision pentru aplicarea stilurilor artistice pe imagini și video. Funcționează ca un sistem pentru antrenarea rețelelor neuronale feedforward, un optimizator de stil iterativ și un stilizator video în timp real. Framework-ul suportă două metode principale de stilizare: un model feedforward care aplică stiluri într-o singură trecere și o metodă de optimizare iterativă care generează imagini stilizate prin minimizarea pierderii de conținut și stil fără un model pre-antrenat. De asemenea, permite procesarea în timp real a fluxurilor live de la webcam folosind modele antrenate. Proiectul acoperă mai multe arii de capabilități, inclusiv procesarea artistică a imaginilor, antrenarea modelelor de transfer de stil prin minimizarea pierderii perceptuale și utilitare de pregătire a seturilor de date pentru a formata folderele de imagini în seturi de antrenament compatibile.

Acest proiect este un tutorial de deep learning în PyTorch și o resursă educațională. Oferă un curriculum structurat și ghiduri pas cu pas pentru proiectarea, antrenarea și validarea rețelelor neuronale de la zero. Resursa include ghiduri specifice privind implementarea viziunii computerizate, concentrându-se pe detectarea obiectelor și clasificarea imaginilor folosind rețele neuronale convoluționale. De asemenea, oferă instrucțiuni pentru optimizarea performanței modelului prin accelerare hardware pentru a reduce timpul de antrenare. Materialele acoperă întregul ciclu de viață al dezvoltării modelului, inclusiv operațiunile cu tensori, pregătirea seturilor de date de imagini și utilizarea funcțiilor de pierdere (loss functions) și a optimizatoarelor. De asemenea, abordează gestionarea ciclului de viață al modelului prin salvarea și reîncărcarea ponderilor antrenate.

Acest proiect oferă o colecție de seturi de date conversaționale în limba chineză procesate și fluxuri de lucru de preprocesare concepute pentru antrenarea și reglarea instrucțiunilor (instruction tuning) a modelelor de limbaj mari (LLM). Funcționează ca un corpus de antrenament de text chinezesc curățat și standardizat, formatat ca perechi interogare-răspuns. Repository-ul include un pipeline de preprocesare și un agregator de seturi de date care combină mai multe surse de chat publice în fișiere unificate. Aceste instrumente normalizează textul prin convertirea caracterelor chinezești tradiționale în caractere simplificate și transformarea firelor de dialog complexe într-o secvență standardizată de schimburi unice. Datele rezultate sunt exportate ca fișiere independente separate prin tab-uri, asigurând o schemă consistentă între surse disparate. Acest flux de lucru de inginerie se concentrează pe eliminarea inconsecvențelor de formatare pentru a pregăti datele conversaționale brute pentru sarcinile de machine learning.

Acest proiect este un curs educațional de deep learning și un ghid de implementare conceput pentru construirea și antrenarea rețelelor neuronale. Oferă un curriculum pentru dezvoltarea modelelor care rezolvă sarcini de recunoaștere a modelelor și sarcini generative. Materialul include module specializate pentru antrenarea în computer vision, procesarea limbajului natural și AI generativ. Acoperă aplicarea practică a transfer learning-ului pentru clasificarea datelor noi și crearea de conținut media sintetic. Proiectul cuprinde designul arhitecturilor de rețea, construcția pipeline-urilor de date pentru machine learning și utilizarea diagnosticelor de performanță a modelelor pentru a identifica sub-ajustarea (underfitting) sau supra-ajustarea (overfitting). Conținutul este livrat prin Jupyter Notebooks.