Awesome GitHub RepositoriesPyTorch Model Components

This is a PyTorch attention mechanism library and a collection of deep learning model components. It provides reference implementations of research-based attention mechanisms and neural network layers used to verify and understand deep learning papers. The project facilitates deep learning research implementation and attention mechanism prototyping to capture global and local dependencies within complex datasets. It includes tools for neural network architecture design, specifically for building custom model components. The library covers the development of multi-layer perceptrons, convoluti

Kornia is a differentiable computer vision library and cross-framework tensor vision toolset. It implements vision operations as differentiable tensors to enable integration into deep learning pipelines and supports the transpilation of operations across PyTorch, TensorFlow, JAX, and NumPy. The project provides specialized toolsets for geometric vision and stereo depth, including algorithms for 3D scene reconstruction, camera calibration, and pose estimation. It further distinguishes itself as a differentiable image augmentation framework, applying random geometric and color transformations w

This project is a Transformer machine translation model and attention-based neural network implemented using the PyTorch deep learning framework. It functions as a text-to-text translation tool designed to convert source sequences into target language text. The implementation focuses on neural machine translation, covering the development of sequence-to-sequence architectures. It includes the full pipeline for translation, from text sequence preprocessing and vocabulary creation to model training and text generation inference. The system incorporates standard transformer components such as a

This project is a pretrained model library for PyTorch, providing a collection of convolutional neural network architectures and weights. It serves as a computer vision model zoo for image classification and feature extraction, offering a framework for transfer learning where pretrained networks are adapted for custom image recognition tasks. The library focuses on transforming images into high-level numerical representations and calculating class probability scores. It includes utilities for downloading and initializing standard architectures such as ResNet, Inception, and Xception. Capabil

This project is a PyTorch vision transformer framework designed for self-supervised learning. It implements a model that trains visual representations using a momentum teacher and self-distillation without the need for labeled data. The library functions as an image feature extractor and visual attention visualizer, allowing for the generation of high-dimensional vectors and the rendering of self-attention maps as heatmaps or videos to analyze model focus. It provides comprehensive tools for downstream vision evaluation, including linear probe classification, k-nearest neighbor categorizatio

SlowFast is a PyTorch video understanding framework and spatiotemporal neural network library. It serves as a toolset for video action recognition, enabling the training and evaluation of models designed to classify complex activities and objects within video sequences. The framework is distinguished by its use of dual-pathway spatiotemporal sampling to capture both slow and fast motions. It supports self-supervised video learning for pre-training models on unlabeled data and employs multigrid spatiotemporal training to optimize learning across multiple spatial and temporal resolutions. The

DUSt3R is a geometric vision transformer model that predicts dense 3D pointmaps directly from one or more uncalibrated images, without requiring prior camera intrinsics, extrinsics, or known camera positions. Its core identity is an end-to-end approach to 3D reconstruction that bypasses traditional depth estimation and camera calibration pipelines, instead outputting metric-scale 3D coordinates from RGB inputs. The model processes image pairs through a shared dual-image encoder architecture, using cross-attention feature fusion in the decoder to merge features from two images into a unified p

Metaseq est une boîte à outils de modélisation de séquences transformer conçue pour entraîner, affiner et déployer des modèles séquence-à-séquence en utilisant des poids pré-entraînés ouverts. Il fournit un framework complet pour l'entraînement de grands modèles de langage, incluant des outils dédiés pour le traitement de datasets de séquences et un serveur d'inférence autonome pour générer du texte via des requêtes API. Le projet présente des utilitaires spécialisés pour la quantification de modèles afin de réduire la précision des paramètres à huit bits, ce qui diminue l'utilisation de la mémoire et augmente la vitesse d'inférence. Il inclut également un pipeline de conversion de points de contrôle pour transformer les poids des modèles en structures optimisées pour des moteurs d'inférence haute performance. Le framework supporte l'entraînement à grande échelle sur des clusters GPU via l'utilisation du parallélisme tensoriel et du parallélisme de données fragmenté. Des capacités supplémentaires couvrent la préparation de datasets NLP, le chargement de poids pré-entraînés pour le transfert learning, et le suivi des métriques d'entraînement pour la visualisation de la progression.

The official PyTorch implementation of Google's Gemma models

Ce projet est une ressource pédagogique sur le deep learning consistant en des implémentations de modèles PyTorch et des exemples de code. Il fournit des scripts Python fonctionnels et des notebooks pour construire, entraîner et optimiser des réseaux de neurones en utilisant le calcul basé sur les tenseurs. Le dépôt inclut des implémentations pour concevoir des couches de réseau et des fonctions de perte personnalisées, ainsi que des exemples de workflows d'apprentissage par transfert qui chargent des poids de modèles pré-entraînés pour accélérer le développement. La base de code couvre un large éventail de capacités en deep learning, incluant l'entraînement de réseaux de neurones, la conception de composants de modèles personnalisés et l'implémentation d'architectures multicouches pour reconnaître des motifs complexes dans des jeux de données.

mmaction2 est un toolkit de compréhension vidéo PyTorch conçu pour entraîner et évaluer des modèles de deep learning. Il sert de framework pour la reconnaissance d'action, la localisation temporelle et la détection d'action spatio-temporelle, fournissant des outils spécialisés pour l'analyse vidéo basée sur les pixels et la reconnaissance d'action basée sur le squelette. Le projet se distingue par une architecture modulaire présentant une découverte de composants basée sur un registre et un assemblage de modèles hiérarchique piloté par configuration. Il supporte la fusion de caractéristiques multi-modales, intégrant des frames RGB, le flux optique et l'audio, et inclut des capacités pour la récupération de clips vidéo par texte et la prédiction vidéo zero-shot. Globalement, le framework couvre l'ingénierie de jeux de données vidéo, incluant la standardisation des annotations et l'échantillonnage de frames, ainsi que l'entraînement et l'évaluation complets des modèles. Il fournit des utilitaires pour l'entraînement distribué, la distillation de connaissances et l'optimisation de l'inférence via la reparamétrisation de modèles. La base de code supporte l'export de modèles ONNX et la conteneurisation de l'environnement pour le déploiement à travers différents nœuds de calcul.

This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen

pytorch-summary est une collection d'utilitaires pour les réseaux de neurones PyTorch conçus pour générer des résumés de modèles, calculer les besoins en mémoire et visualiser les formes des tenseurs couche par couche. Il fonctionne comme un outil de reporting qui fournit des ventilations détaillées des couches du réseau et des formes de sortie pour aider au débogage et à l'inspection des modèles. Le projet fournit des capacités spécialisées pour estimer l'utilisation totale de la mémoire des passes avant et arrière en fonction des dimensions d'entrée et du nombre de paramètres. Il génère des visualisations lisibles par l'homme des structures de modèles pour vérifier les conceptions architecturales et identifier les inadéquations de dimensions entre les couches. L'outil implémente une analyse structurelle par le biais d'un parcours récursif des modules, d'un suivi des tenseurs basé sur des hooks et d'une inférence de forme pilotée par l'entrée. Ces capacités permettent l'agrégation du nombre de paramètres et le mapping du flux de données entre les opérations successives.

This project is a collection of deep learning research implementations and a reproduction kit designed to translate theoretical AI papers into working code. It provides a library of neural network architectures and reference implementations for reproducing seminal research concepts through interactive notebooks. The repository distinguishes itself through the implementation of AI theory and scaling laws, covering complexity dynamics, information theory, and the simulation of universal AI agents. It also includes a benchmarking suite for synthetic reasoning, allowing for the evaluation of mode

Graph Nets is a graph neural network library and educational toolkit implemented in PyTorch, providing implementations of popular graph representation learning algorithms and research papers. The project covers core graph machine learning tasks including semi-supervised node classification, inductive and unsupervised node embedding generation, and neighborhood feature aggregation. The library supports diverse algorithmic approaches for processing network structures, ranging from shared-parameter graph convolutions and attention-weighted neighborhood aggregation to spectral Chebyshev filtering