Awesome GitHub RepositoriesLoss Function Implementations

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Ce projet est un framework d'apprentissage contrastif auto-supervisé conçu pour entraîner des modèles d'apprentissage profond à apprendre des représentations visuelles à partir d'images sans utiliser d'étiquettes fournies par l'homme. Il fournit un système pour développer des modèles de représentation visuelle pré-entraînés qui peuvent être adaptés pour des tâches de vision par ordinateur en aval. Le framework inclut des outils pour la classification d'images semi-supervisée, qui combine de grands ensembles de données non étiquetés avec de petits ensembles étiquetés pour améliorer la précision. Il dispose également d'un outil d'évaluation par sonde linéaire pour évaluer la qualité des caractéristiques d'image apprises en entraînant un classificateur linéaire simple sur des représentations gelées. La base de code couvre l'entraînement par apprentissage profond distribué et l'accélération matérielle pour gérer de grandes tailles de batch, ainsi que des primitives d'optimisation telles que la planification du taux d'apprentissage par décroissance cosinus et la régularisation par décroissance de poids. Elle fournit également des utilitaires pour la gestion des modèles, y compris la conversion de checkpoints pré-entraînés entre différents formats de framework d'apprentissage profond et des outils pour le déploiement de modèles. L'implémentation est fournie sous forme de collection de Jupyter Notebooks.

This project is a high-performance C++ and CUDA neural network library designed for fast training and inference of small networks on NVIDIA GPUs. It serves as a specialized backend for neural radiance fields and coordinate-based networks, providing a fused GPU kernel library and a hash grid encoder for transforming raw input dimensions into high-dimensional representations. The library distinguishes itself through the use of C++ template metaprogramming and fused-kernel execution, which merge neural network layers into single GPU device functions to eliminate memory bottlenecks. It leverages

Ce projet est une collection de ressources éducatives et d'implémentations de référence pour le développement de réseaux de neurones utilisant TensorFlow. Il sert de cours d'apprentissage complet, de programme d'apprentissage automatique et de guide d'implémentation pratique pour construire des architectures de deep learning. La base de code fournit des supports pédagogiques et des exemples couvrant un large éventail de types de modèles, y compris les réseaux de neurones convolutifs pour la classification d'images, les réseaux récurrents et les cellules LSTM pour les données séquentielles, et les auto-encodeurs pour la modélisation générative. Il inclut également des implémentations pour des agents d'apprentissage par renforcement profond et des techniques de transfert d'apprentissage pour adapter des modèles pré-entraînés à de nouvelles tâches. Le projet couvre le cycle de vie complet du développement, y compris le prétraitement des données, la définition du graphe de calcul et l'optimisation des poids. Il fournit des utilitaires pour l'évaluation des modèles et l'optimisation de l'entraînement, tels que le dropout et la régularisation, ainsi que des outils pour visualiser l'architecture du réseau et surveiller les métriques d'entraînement.

Ce projet est une ressource pédagogique complète et un manuel de tutoriels pour construire, entraîner et déployer des modèles de machine learning avec TensorFlow 2. Il sert de guide d'apprentissage structuré couvrant les concepts fondamentaux du deep learning, notamment les architectures de réseaux de neurones, la différenciation automatique et les opérations sur les tenseurs. Le manuel fournit des conseils techniques pour optimiser l'efficacité de l'exécution via la gestion de la mémoire GPU, l'entraînement distribué et la quantification de modèles. Il inclut également des guides détaillés pour construire des pipelines de données haute performance et exporter des modèles vers des serveurs de production, des appareils mobiles et des navigateurs web. Le contenu couvre un large éventail de capacités, incluant le développement de modèles avec des réseaux convolutifs et récurrents, l'implémentation de fonctions de perte et de couches personnalisées, ainsi que l'utilisation de modèles pré-entraînés pour le transfer learning. Il aborde également les stratégies de déploiement pour les appareils edge et l'utilisation d'environnements d'exécution cloud pour l'accélération matérielle. La ressource est implémentée sous forme d'une collection de Jupyter Notebooks.

This project is a machine learning educational archive and technical documentation collection. It serves as a deep learning tutorial series and implementation guide, providing theoretical explanations and practical walkthroughs for constructing and optimizing neural networks. The content focuses on the design and construction of diverse model architectures, including convolutional neural networks, Long Short-Term Memory networks, and generative adversarial networks. It details specific implementation patterns for autoencoders, sentiment analysis models, and various classification approaches.

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,