Awesome GitHub RepositoriesDistributed GPU Training

This project is a TensorFlow and Keras implementation of the Mask R-CNN architecture. It provides a framework for performing simultaneous object detection and instance segmentation, transforming raw images into segmented masks and bounding boxes for individual object identification. The toolset enables custom computer vision training through fine-tuning pre-trained weights and integrating user-provided datasets. It includes capabilities for distributed GPU training to accelerate the optimization of large vision models. The framework covers model evaluation using standard precision metrics an

This project is a collection of optimized scripts, deployment patterns, and reference implementations designed for scaling and accelerating state-of-the-art AI models. It serves as a multi-domain model zoo and a distributed training framework, providing PyTorch reference implementations for training and deploying models on GPU-accelerated infrastructure. The repository distinguishes itself through an optimization suite focused on NVIDIA GPU hardware, utilizing automatic mixed precision and specialized math modes to increase training speed and throughput. It provides enterprise deployment patt

TRELLIS is a 3D generative AI model and latent diffusion framework designed to transform natural language descriptions or reference images into textured 3D assets. It operates as a text-to-3D asset generator that utilizes structured latent representations to produce high-quality 3D meshes, Gaussians, and Radiance Fields. The system functions as a multi-format 3D decoder, converting internal representations into standard exchange formats such as GLB and PLY. It also serves as a 3D asset editing tool, enabling the modification of specific regions of generated objects through targeted text or im

This is a PyTorch implementation of a text-to-image model designed for synthesizing high-fidelity images from natural language descriptions. It utilizes a diffusion image generator to transform latent embeddings into visual data through an iterative denoising process. The system employs a two-stage latent mapping process, using a CLIP-based latent prior to map text embeddings to image embeddings before decoding them into pixels. It features a cascading diffusion decoder that produces high-resolution imagery by passing low-resolution outputs through a sequence of models at increasing scales.

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

pysheeet este o bibliotecă de referință tehnică ce oferă o colecție curatoriată de fragmente de cod și modele de implementare pentru dezvoltarea avansată în Python, integrarea sistemelor și calculul de înaltă performanță. Servește ca un ghid cuprinzător pentru implementarea programării de rețea de nivel scăzut, extensiilor native C și programării asincrone și concurente. Proiectul oferă framework-uri specializate pentru dezvoltarea și implementarea modelelor de limbaj mari, inclusiv instrumente pentru inferență distribuită pe GPU și servire de înaltă performanță. Include, de asemenea, modele detaliate pentru orchestrarea clusterelor de calcul de înaltă performanță, acoperind alocarea resurselor GPU și gestionarea sarcinilor de lucru pe mai multe noduri. Biblioteca acoperă o gamă largă de capabilități, inclusiv comunicarea securizată în rețea și criptografia, object-relational mapping și gestionarea bazelor de date, precum și implementarea structurilor de date și algoritmilor complecși. Oferă, de asemenea, utilitare pentru gestionarea memoriei, interoperabilitate nativă prin interfețe de funcții străine (FFI) și integrarea la nivel de sistem de operare.

Acest proiect este un framework de detecție a obiectelor PyTorch care implementează arhitectura Faster R-CNN. Acesta servește ca un model de viziune pentru prezicerea casetelor de delimitare precise în jurul mai multor obiecte din imagini și fluxuri video live. Sistemul este optimizat pentru antrenarea multi-GPU pentru a reduce timpul necesar pentru convergența modelului. Utilizează un design accelerat prin GPU pentru a gestiona antrenarea și inferența rețelelor complexe de detecție. Framework-ul acoperă întregul ciclu de viață al detecției obiectelor, inclusiv antrenarea rețelelor personalizate și inferența pentru imagini statice și fluxuri video în timp real. Include capabilități pentru validarea performanței modelului folosind seturi de date standardizate, precum și optimizări de antrenare, cum ar fi gruparea bazată pe raportul de aspect și sarcinile de lucru distribuite.

Threestudio is a 3D generative AI framework designed to create three-dimensional assets from text prompts and images. It provides specialized pipelines for text-to-3D generation and image-to-3D reconstruction, utilizing a neural radiance field trainer to produce geometry and textures. The framework is distinguished by its support for hybrid geometry backends, including signed distance functions, tetrahedra grids, and volume grids. It employs score distillation sampling to guide the generation process and features a modular plugin system for loading custom modules and nodes. The system covers

This project is a neural machine translation system used to build models that automatically translate text from one language to another. It utilizes sequence-to-sequence modeling to transform variable-length input sequences into corresponding output sequences. The system implements bidirectional recurrent neural network encoding and attention mechanisms to capture contextual information and focus on specific parts of the source text during translation. To manage training and inference, it employs separate computational graphs and supports distributing model layers across multiple GPU devices.

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Tensorpack este un framework de rețele neuronale TensorFlow de nivel înalt și o bibliotecă de cercetare concepută pentru construirea și antrenarea modelelor de deep learning. Oferă o colecție de arhitecturi de rețele neuronale reproductibile pentru viziune artificială, sarcini generative, învățare prin consolidare și procesarea limbajului natural. Proiectul se distinge printr-un pipeline de date de deep learning specializat care utilizează Python pur pentru încărcarea și streaming-ul datelor în paralel. Include un orchestrator de antrenare multi-GPU pentru distribuirea sarcinilor de lucru prin strategii de paralelizare a datelor și un toolkit de interpretabilitate dedicat pentru vizualizarea hărților de activare și saliency ale modelului. Framework-ul acoperă o gamă largă de capabilități, inclusiv pipeline-uri de viziune artificială pentru detectarea obiectelor și segmentarea semantică, modelarea secvențială pentru vorbire și text, și dezvoltarea de agenți de învățare prin consolidare. Oferă, de asemenea, instrumente de optimizare a modelelor pentru cuantizarea ponderilor și antrenarea pe biți puțini, alături de utilitare pentru reproducerea lucrărilor de cercetare academică și conversia ponderilor modelelor Caffe legacy.

This repository provides a complete framework for training generative adversarial networks (GANs) that produce high-resolution photorealistic images, up to 1024 by 1024 pixels. The core technique is progressive layer growth, where both the generator and discriminator networks start training at low resolution and gradually add new layers to model finer details, enabling stable synthesis of large images. The framework includes a high-resolution image generator, an image quality metric evaluator, a latent space interpolation tool for creating smooth transition videos, and a multi-resolution datas

Gluon-CV este o bibliotecă de computer vision pentru MXNet care oferă o colecție cuprinzătoare de arhitecturi de viziune pre-implementate și pipeline-uri de antrenament. Servește drept toolkit de cercetare în deep learning și o grădină zoologică de modele (model zoo) care conține ponderi pre-antrenate de ultimă generație pentru analiza imaginilor și a videoclipurilor. Proiectul include o bibliotecă specializată de estimare a posturii umane și un toolkit de compresie a modelelor. Aceste instrumente permit tăierea (pruning) și cuantizarea modelelor de deep learning pentru a crește viteza de inferență și a facilita implementarea pe hardware edge cu resurse limitate. Biblioteca acoperă o gamă largă de capabilități de viziune, inclusiv clasificarea imaginilor, detectarea obiectelor și segmentarea semantică și de instanță. De asemenea, oferă instrumente pentru analiza video, cum ar fi recunoașterea acțiunilor, urmărirea obiectelor și estimarea adâncimii monoculare. Antrenamentul este susținut prin pipeline-uri automatizate și sarcini de lucru distribuite multi-GPU pentru a accelera convergența modelului.

Acest proiect este o implementare PyTorch a unui transformer text-to-image. Este un model AI generativ conceput pentru a mapa token-urile discrete de text la pixelii imaginii, folosind o rețea transformer pentru a crea conținut vizual din descrieri textuale. Sistemul utilizează un encoder de imagine VAE discret pentru a comprima datele vizuale în token-uri pentru procesarea transformer. Suportă ghidarea fără clasificator (classifier-free guidance) pentru a ajusta influența prompt-urilor text în timpul inferenței și include capabilități pentru clasarea imaginilor generate pe baza similarității lor cu prompt-urile text. Arhitectura încorporează mecanisme de atenție rară și rețele reziduale reversibile pentru a optimiza complexitatea computațională și consumul de memorie. Capabilitățile de antrenament includ scalarea GPU distribuită și framework-uri pentru gestionarea sarcinilor la scară largă pe mai multe procesoare grafice, pentru a asocia imaginile cu descrierile text. Implementarea oferă suport pentru tokenizarea textului personalizat prin integrarea tokenizer-elor pre-antrenate sau a modelelor de limbaj.

PCDet este un set de instrumente pentru detecția obiectelor 3D din date LiDAR și o bibliotecă de procesare a norilor de puncte construită pe framework-ul de deep learning PyTorch. Oferă un sistem pentru identificarea și localizarea obiectelor tridimensionale în datele de tip nor de puncte. Proiectul utilizează un model de separare date-model pentru a decupla logica de încărcare a seturilor de date de pipeline-ul principal de detecție. Dispune de un pipeline de fuziune multi-senzor care combină datele de la mai mulți senzori într-o vedere spațială comună și un sistem de antrenare distribuită pe GPU pentru a scala sarcinile de lucru pe mai multe procesoare grafice. Toolkit-ul acoperă mai multe domenii de capabilități, inclusiv extracția de caracteristici bazată pe voxeli și analiza temporală a norilor de puncte prin fuziunea multi-cadru. De asemenea, încorporează optimizări de performanță pentru intersecția peste reuniune (IoU) 3D accelerată pe GPU și suprimarea non-maxime rotite.

Neuraltalk2 este un sistem de viziune deep learning conceput pentru generarea automată de descrieri pentru imagini (captioning). Construit cu PyTorch, utilizează o arhitectură hibridă care combină un encoder de rețea neuronală convoluțională cu un decoder de rețea neuronală recurentă pentru a genera descrieri textuale din input vizual. Proiectul include un pipeline de antrenare accelerat pe GPU, capabil să distribuie sarcinile de lucru pe mai multe unități de procesare grafică prin distribuție multi-proces. Suportă generarea de descrieri atât pentru fișiere imagine statice, cât și pentru fluxuri video în timp real. Framework-ul include capabilități pentru fine-tuning-ul encoder-ului, eșantionarea textului prin beam search cu controlul temperaturii și utilizarea metricilor lingvistice standard din industrie pentru a evalua acuratețea și fluența descrierilor. De asemenea, oferă utilitare pentru preprocesarea seturilor de date, persistența checkpoint-urilor modelului și exportul predicțiilor în fișiere JSON structurate. Implementarea este furnizată sub formă de Jupyter Notebook.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

Aceasta este o implementare PyTorch de deep learning pentru antrenarea modelelor de limbaj bazate pe transformer. Funcționează ca un trainer GPU distribuit și un framework conceput pentru a optimiza modelele de predicție a textului pentru viteză crescută și eficiență a eșantionării. Proiectul se distinge prin utilizarea optimizatorului de ponderi Newton-Schulz. Această metodă aplică un proces iterativ pentru a menține actualizări semi-ortogonale ale parametrilor și matricelor de ponderi, ceea ce îmbunătățește eficiența eșantionării și reduce overhead-ul de memorie în timpul procesului de antrenare. Framework-ul acoperă capabilități largi în calculul GPU distribuit, inclusiv paralelismul datelor pentru a scala workload-urile pe mai multe procesoare grafice. De asemenea, încorporează tehnici de optimizare a rețelelor neuronale, cum ar fi optimizarea iterativă a momentum-ului și procesarea în loturi (batch) de mare capacitate.

Acest proiect este un framework neuronal de text-to-speech și un model PyTorch conceput pentru a sintetiza vorbirea umană. Convertește textul scris în audio sintetic prin prezicerea mel spectrogramelor, care servesc drept reprezentare intermediară pentru generarea vocii. Sistemul include un model de condiționare pentru WaveNet pentru a asigura o ieșire audio cu sunet natural. Oferă un framework de antrenare distribuită care utilizează procesarea multi-GPU și precizia mixtă automată pentru a optimiza viteza de antrenare și a reduce utilizarea memoriei. Proiectul acoperă întregul pipeline de sinteză neuronală a vorbirii, de la antrenarea modelului folosind seturi de date de text și audio până la generarea vocilor artificiale. Utilizează un encoder-decoder convoluțional și atenție secvență-la-secvență pentru a mapa caracteristicile lingvistice la cadre acustice.