Awesome GitHub RepositoriesPretrained Weight Initializers

Grok-1 is an open-weights large language model implementation featuring a sparse mixture-of-experts architecture. It is designed for high-performance text generation and natural language processing by activating only a subset of specialized expert layers per token. The model utilizes 8-bit weight quantization to reduce memory overhead and accelerate loading. To manage its high parameter count, the implementation supports activation sharding, which distributes the memory load across multiple hardware devices during execution. The project covers large-scale model inference, including text comp

GFPGAN is a generative face restoration model and Python-based image processing tool designed to restore low-resolution facial images. It utilizes generative adversarial networks to recover fine details and increase the clarity of degraded portraits. The system employs a generative facial prior to map degraded images to a high-quality manifold, enabling blind-face restoration without requiring knowledge of the specific degradation process. It utilizes a multi-stage workflow that includes face detection, alignment, and region-specific masking to separate facial areas from the background. Beyo

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is a library of pretrained computer vision architectures and backbones for image classification and feature extraction. It serves as a comprehensive model zoo and collection of standardized image encoders, including ResNet, Vision Transformers, and EfficientNet, for use in visual analysis and as backbones for object detection and image segmentation. The library provides a framework for distributed training and evaluation of image models using advanced data augmentation and optimization scripts. It includes a dedicated toolset for converting trained PyTorch vision models into the

This project is a TensorFlow and Keras implementation of the Mask R-CNN architecture. It provides a framework for performing simultaneous object detection and instance segmentation, transforming raw images into segmented masks and bounding boxes for individual object identification. The toolset enables custom computer vision training through fine-tuning pre-trained weights and integrating user-provided datasets. It includes capabilities for distributed GPU training to accelerate the optimization of large vision models. The framework covers model evaluation using standard precision metrics an

Magenta is an AI creative suite and TensorFlow generative art framework used to train and deploy models for the production of artistic media. It functions as a generative music library and a deep learning art generator, providing tools to automate the creation of original musical compositions and visual artwork. The project covers AI music composition and generative visual art through neural art generation and machine learning creativity. It enables the training of generative models to produce original songs, images, and drawings based on learned patterns.

PaddleDetection is an object detection framework designed for the end-to-end development, training, and deployment of computer vision models. It provides a comprehensive library of modular neural network architectures and pipelines that support object detection, instance segmentation, and multi-object tracking tasks. The project distinguishes itself through a configuration-driven approach that decouples model components like backbones and heads, allowing for the flexible assembly of custom vision workflows. It incorporates advanced techniques such as anchor-free detection logic, joint detecti

Wav2Lip is a deep learning lip sync model and neural talking head framework designed to synchronize the lip movements in a video to match a provided audio file. It functions as a computer vision lip synchronizer and speech-to-lip generator that maps speech patterns to visual mouth movements to produce realistic talking head videos. The system utilizes a framework for training and evaluating models that align audio and video frames. This includes the ability to train lip-sync models and visual discriminators using speech-to-lip datasets and evaluating the resulting synchronization accuracy thr

This is a PyTorch semantic segmentation library designed for building image masking frameworks. It provides a collection of over 500 pretrained convolutional and transformer-based encoders and various decoder architectures to perform binary and multiclass pixel-level classification. The library features a modular backbone integration that decouples encoder choice from decoder logic. It supports custom input channel configurations and encoder depth tuning, allowing the modification of input layers to accept non-standard channel counts while preserving pretrained weights. Some configurations al

This project is a pretrained model library for PyTorch, providing a collection of convolutional neural network architectures and weights. It serves as a computer vision model zoo for image classification and feature extraction, offering a framework for transfer learning where pretrained networks are adapted for custom image recognition tasks. The library focuses on transforming images into high-level numerical representations and calculating class probability scores. It includes utilities for downloading and initializing standard architectures such as ResNet, Inception, and Xception. Capabil

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a Python implementation of the Faster R-CNN object detection framework. It serves as a convolutional neural network library and tool for locating and classifying multiple objects within images. The framework provides a pre-trained model implementation that allows for object detection inference without manual training. It supports the full lifecycle of object detection, including training detectors on visual datasets to identify and bound specific object classes. The system covers capabilities for computer vision model evaluation, neural network optimization to reduce model si

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a collection of deep learning tools for image classification and audio tagging, providing a repository of pre-trained model weights and architectures. It serves as a Keras model zoo that enables the immediate use of established neural networks for inference and transfer learning. The library includes a music tagging framework that classifies audio recordings using convolutional recurrent neural networks and mel-spectrograms. For visual data, it provides implementations of architectures such as ResNet, VGG, and Xception, alongside a repository of weights trained on large datase

MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

Ce projet est un framework de traitement du langage naturel axé sur un pré-entraîneur autorégressif généralisé conçu pour la représentation de langage non supervisée. Il implémente un modèle de langage qui combine un entraînement basé sur la permutation avec une architecture Transformer-XL pour fonctionner comme un processeur de texte à long contexte. Le système se distingue par sa capacité à gérer des séquences de texte dépassant les limites de longueur standard grâce à l'utilisation de la récurrence au niveau du segment et du codage positionnel relatif. Il met à l'échelle le pré-entraînement haute performance sur plusieurs clusters de GPU et TPU en utilisant des implémentations d'entraînement distribué. La base de code couvre l'ensemble du workflow de machine learning, incluant le nettoyage de texte et la tokenisation par sous-mots pour le prétraitement des données, ainsi que le fine-tuning spécifique à une tâche pour la réponse aux questions, la compréhension de lecture et la classification de texte. Il inclut des utilitaires pour l'optimisation des paramètres, la planification du taux d'apprentissage et l'évaluation des probabilités de réponse via des métriques de précision-rappel. Le projet fournit des configurations pour gérer les hyperparamètres du modèle et l'entraînement accéléré par le matériel sur plusieurs hôtes.

Open NSFW est un classificateur d'images et un filtre de contenu basé sur le deep learning, conçu pour identifier les contenus visuels explicites ou inappropriés. Il utilise un réseau de neurones pour analyser les images et générer des scores de probabilité déterminant si un média est inapproprié pour le travail (NSFW). Le système s'appuie sur une architecture de modèle basée sur Caffe pour effectuer l'extraction automatique de caractéristiques visuelles et la classification d'images. Il prend en charge l'utilisation de poids pré-entraînés et permet d'affiner le réseau avec des jeux de données personnalisés pour ajuster la précision de la détection. Le projet couvre des workflows complets de modération d'images, incluant l'analyse automatisée du contenu et le filtrage visuel pour signaler ou bloquer les médias inappropriés.

Ce projet est une ressource pédagogique sur le deep learning consistant en des implémentations de modèles PyTorch et des exemples de code. Il fournit des scripts Python fonctionnels et des notebooks pour construire, entraîner et optimiser des réseaux de neurones en utilisant le calcul basé sur les tenseurs. Le dépôt inclut des implémentations pour concevoir des couches de réseau et des fonctions de perte personnalisées, ainsi que des exemples de workflows d'apprentissage par transfert qui chargent des poids de modèles pré-entraînés pour accélérer le développement. La base de code couvre un large éventail de capacités en deep learning, incluant l'entraînement de réseaux de neurones, la conception de composants de modèles personnalisés et l'implémentation d'architectures multicouches pour reconnaître des motifs complexes dans des jeux de données.

facenet-pytorch est une bibliothèque de reconnaissance faciale pour PyTorch qui fournit des réseaux neuronaux pré-entraînés pour détecter les visages et extraire des embeddings faciaux. Elle inclut un détecteur de visage MTCNN pour localiser les visages et les points de repère, aux côtés d'un encodeur de visage InceptionResnet pour convertir les images faciales en vecteurs de haute dimension pour la vérification d'identité. Le projet fournit des outils pour la reconnaissance d'identité en comparant les embeddings faciaux en utilisant la similarité cosinus. Il prend également en charge le suivi vidéo facial pour maintenir la cohérence de l'identité à travers les images consécutives et permet le fine-tuning de modèles pré-entraînés sur des jeux de données personnalisés pour améliorer la précision de reconnaissance pour des individus ou environnements spécifiques. La bibliothèque couvre un large éventail de capacités de vision par ordinateur, incluant la localisation faciale, la vérification d'identité et le traitement de tenseurs d'image via la normalisation par lots.

Sketch-code est un outil de prototypage web par deep learning et un convertisseur image-vers-HTML conçu pour transformer des maquettes de sites web dessinées à la main en code HTML structurel. Il utilise un analyseur de wireframes par réseau de neurones pour reconnaître les éléments visuels dans les croquis et les mapper vers des représentations de mise en page web correspondantes. Le système emploie une architecture basée sur Keras pour entraîner et évaluer des modèles de reconnaissance à l'aide de jeux de données de wireframes dessinés à la main et de HTML de référence. Il découple la mise en page structurelle du design visuel en permettant l'injection de couches CSS personnalisées lors du processus de compilation. Le projet couvre le prototypage frontend automatisé et la génération de mise en page UI, incluant le mapping supervisé image-vers-code et l'évaluation de la précision des prédictions pour mesurer la sortie générée par rapport aux références de vérité terrain.