Awesome GitHub RepositoriesPretrained Weight Initializers

Grok-1 is an open-weights large language model implementation featuring a sparse mixture-of-experts architecture. It is designed for high-performance text generation and natural language processing by activating only a subset of specialized expert layers per token. The model utilizes 8-bit weight quantization to reduce memory overhead and accelerate loading. To manage its high parameter count, the implementation supports activation sharding, which distributes the memory load across multiple hardware devices during execution. The project covers large-scale model inference, including text comp

GFPGAN is a generative face restoration model and Python-based image processing tool designed to restore low-resolution facial images. It utilizes generative adversarial networks to recover fine details and increase the clarity of degraded portraits. The system employs a generative facial prior to map degraded images to a high-quality manifold, enabling blind-face restoration without requiring knowledge of the specific degradation process. It utilizes a multi-stage workflow that includes face detection, alignment, and region-specific masking to separate facial areas from the background. Beyo

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is a library of pretrained computer vision architectures and backbones for image classification and feature extraction. It serves as a comprehensive model zoo and collection of standardized image encoders, including ResNet, Vision Transformers, and EfficientNet, for use in visual analysis and as backbones for object detection and image segmentation. The library provides a framework for distributed training and evaluation of image models using advanced data augmentation and optimization scripts. It includes a dedicated toolset for converting trained PyTorch vision models into the

This project is a TensorFlow and Keras implementation of the Mask R-CNN architecture. It provides a framework for performing simultaneous object detection and instance segmentation, transforming raw images into segmented masks and bounding boxes for individual object identification. The toolset enables custom computer vision training through fine-tuning pre-trained weights and integrating user-provided datasets. It includes capabilities for distributed GPU training to accelerate the optimization of large vision models. The framework covers model evaluation using standard precision metrics an

Magenta is an AI creative suite and TensorFlow generative art framework used to train and deploy models for the production of artistic media. It functions as a generative music library and a deep learning art generator, providing tools to automate the creation of original musical compositions and visual artwork. The project covers AI music composition and generative visual art through neural art generation and machine learning creativity. It enables the training of generative models to produce original songs, images, and drawings based on learned patterns.

PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti

Wav2Lip is a deep learning lip sync model and neural talking head framework designed to synchronize the lip movements in a video to match a provided audio file. It functions as a computer vision lip synchronizer and speech-to-lip generator that maps speech patterns to visual mouth movements to produce realistic talking head videos. The system utilizes a framework for training and evaluating models that align audio and video frames. This includes the ability to train lip-sync models and visual discriminators using speech-to-lip datasets and evaluating the resulting synchronization accuracy thr

This is a PyTorch semantic segmentation library designed for building image masking frameworks. It provides a collection of over 500 pretrained convolutional and transformer-based encoders and various decoder architectures to perform binary and multiclass pixel-level classification. The library features a modular backbone integration that decouples encoder choice from decoder logic. It supports custom input channel configurations and encoder depth tuning, allowing the modification of input layers to accept non-standard channel counts while preserving pretrained weights. Some configurations al

This project is a pretrained model library for PyTorch, providing a collection of convolutional neural network architectures and weights. It serves as a computer vision model zoo for image classification and feature extraction, offering a framework for transfer learning where pretrained networks are adapted for custom image recognition tasks. The library focuses on transforming images into high-level numerical representations and calculating class probability scores. It includes utilities for downloading and initializing standard architectures such as ResNet, Inception, and Xception. Capabil

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a Python implementation of the Faster R-CNN object detection framework. It serves as a convolutional neural network library and tool for locating and classifying multiple objects within images. The framework provides a pre-trained model implementation that allows for object detection inference without manual training. It supports the full lifecycle of object detection, including training detectors on visual datasets to identify and bound specific object classes. The system covers capabilities for computer vision model evaluation, neural network optimization to reduce model si

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a collection of deep learning tools for image classification and audio tagging, providing a repository of pre-trained model weights and architectures. It serves as a Keras model zoo that enables the immediate use of established neural networks for inference and transfer learning. The library includes a music tagging framework that classifies audio recordings using convolutional recurrent neural networks and mel-spectrograms. For visual data, it provides implementations of architectures such as ResNet, VGG, and Xception, alongside a repository of weights trained on large datase

MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

Acest proiect este un framework de procesare a limbajului natural axat pe un pre-antrenor autoregresiv generalizat conceput pentru reprezentarea limbajului nesupervizat. Implementează un model de limbaj care combină antrenamentul bazat pe permutare cu un backbone Transformer-XL pentru a funcționa ca un procesor de text cu context lung. Sistemul se distinge prin capacitatea de a gestiona secvențe de text care depășesc limitele standard de lungime prin utilizarea recurenței la nivel de segment și a codificării poziționale relative. Acesta scalează pre-antrenamentul de înaltă performanță pe mai multe GPU-uri și clustere TPU folosind implementări de antrenament distribuit. Codul sursă acoperă întregul flux de lucru de machine learning, inclusiv curățarea textului și tokenizarea subcuvintelor pentru preprocesarea datelor, precum și fine-tuning-ul specific sarcinii pentru răspunsul la întrebări, înțelegerea lecturii și clasificarea textului. Include utilitare pentru optimizarea parametrilor, programarea ratei de învățare și evaluarea probabilităților de răspuns prin metrici de precizie-rechemare. Proiectul oferă configurații pentru gestionarea hiperparametrilor modelului și antrenamentul accelerat hardware pe mai multe gazde.

Open NSFW este un clasificator de imagini bazat pe deep learning și un filtru de conținut conceput pentru a identifica conținutul vizual explicit sau nesigur. Acesta utilizează o rețea neuronală pentru a analiza imaginile și a genera scoruri de probabilitate care determină dacă un fișier media este neadecvat pentru mediul de lucru (NSFW). Sistemul folosește o arhitectură de model bazată pe Caffe pentru a efectua extracția automată a caracteristicilor vizuale și clasificarea imaginilor. Suportă utilizarea ponderilor pre-antrenate și permite fine-tuning-ul rețelei cu seturi de date personalizate pentru a ajusta acuratețea detecției. Proiectul acoperă fluxuri de lucru end-to-end pentru moderarea imaginilor, incluzând scanarea automată a conținutului și filtrarea vizuală pentru a marca sau bloca fișierele media neadecvate.

Acest proiect este o resursă educațională de deep learning constând în implementări de modele PyTorch și exemple de cod. Oferă scripturi Python funcționale și notebook-uri pentru construirea, antrenarea și optimizarea rețelelor neuronale folosind calculul bazat pe tensori. Repository-ul include implementări pentru proiectarea straturilor de rețea personalizate și a funcțiilor de pierdere (loss functions), precum și exemple de fluxuri de lucru de transfer learning care încarcă ponderi de model pre-antrenate pentru a accelera dezvoltarea. Codul sursă acoperă o gamă largă de capabilități de deep learning, inclusiv antrenarea rețelelor neuronale, proiectarea componentelor de model personalizate și implementarea arhitecturilor multi-strat pentru a recunoaște modele complexe în seturi de date.

facenet-pytorch este o bibliotecă de recunoaștere facială pentru PyTorch care oferă rețele neuronale pre-antrenate pentru detectarea fețelor și extragerea embedding-urilor faciale. Include un detector de fețe MTCNN pentru localizarea fețelor și a punctelor de reper, alături de un encoder facial InceptionResnet pentru a converti imaginile faciale în vectori de înaltă dimensiune pentru verificarea identității. Proiectul oferă instrumente pentru recunoașterea identității prin compararea embedding-urilor faciale folosind similaritatea cosinus. De asemenea, suportă urmărirea video facială pentru a menține consistența identității pe cadre consecutive și permite fine-tuning-ul modelelor pre-antrenate pe seturi de date personalizate pentru a îmbunătăți acuratețea recunoașterii pentru persoane sau medii specifice. Biblioteca acoperă o gamă largă de capabilități de computer vision, inclusiv localizarea facială, verificarea identității și procesarea tensorilor de imagine prin normalizare batch.

Sketch-code este un instrument de prototipare web bazat pe deep learning și un convertor de imagine în HTML, conceput pentru a transforma schițele desenate manual ale site-urilor web în cod HTML structural. Utilizează un parser de wireframe-uri cu rețele neuronale pentru a recunoaște elementele vizuale din schițe și a le mapa la reprezentările corespunzătoare de layout web. Sistemul folosește o arhitectură bazată pe Keras pentru antrenarea și evaluarea modelelor de recunoaștere, folosind seturi de date de wireframe-uri desenate manual și HTML de referință. Acesta decuplează layout-ul structural de designul vizual, permițând injectarea de straturi CSS personalizate în timpul procesului de compilare. Proiectul acoperă prototiparea frontend automatizată și generarea de layout-uri UI, incluzând maparea supervizată imagine-la-cod și evaluarea acurateței predicției pentru a măsura rezultatul generat față de referințele de tip ground-truth.