Awesome GitHub RepositoriesDistributed Tensor Synchronization

BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

Flashlight este o bibliotecă C++ de machine learning și un framework de deep learning conceput pentru construirea și antrenarea rețelelor neuronale. Acesta funcționează ca o bibliotecă de manipulare a tensorilor și un motor de diferențiere automată care urmărește operațiunile pentru a calcula gradienții prin backpropagation pentru optimizarea modelului. Proiectul se distinge prin rolul său de framework de antrenare distribuită, utilizând sincronizarea gradienților all-reduce și medii distribuite pentru a scala workload-urile de machine learning pe mai multe noduri și dispozitive. Dispune de o interfață de memorie agnostică față de backend și gestionare bazată pe RAII pentru a decupla operațiunile cu tensori de hardware-ul fizic. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția de arhitecturi de rețele neuronale cu straturi convoluționale, liniare și recurente. Oferă utilitare extinse pentru algebră tensorială, gestionarea și batching-ul seturilor de date, serializare binară versionată pentru stările modelelor și instrumente de monitorizare pentru urmărirea metricilor de antrenare și a utilizării memoriei.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,