Awesome GitHub RepositoriesLoss Function Implementations

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Dieses Projekt ist ein selbstüberwachtes kontrastives Lern-Framework, das darauf ausgelegt ist, Deep-Learning-Modelle darauf zu trainieren, visuelle Repräsentationen aus Bildern zu lernen, ohne menschlich bereitgestellte Labels zu verwenden. Es bietet ein System zur Entwicklung vortrainierter visueller Repräsentationsmodelle, die für nachgelagerte Computer-Vision-Aufgaben angepasst werden können. Das Framework enthält Tools für semi-überwachte Bildklassifizierung, die große ungelabelte Datensätze mit kleinen gelabelten Sets kombiniert, um die Genauigkeit zu verbessern. Es bietet zudem ein Linear-Probe-Evaluierungstool, um die Qualität gelernter Bildmerkmale zu bewerten, indem ein einfacher linearer Klassifikator auf Basis eingefrorener Repräsentationen trainiert wird. Die Codebasis deckt verteiltes Deep-Learning-Training und Hardwarebeschleunigung ab, um große Batch-Größen zu handhaben, neben Optimierungsprimitiven wie Cosine-Decay-Learning-Rate-Scheduling und Weight-Decay-Regularisierung. Sie bietet zudem Dienstprogramme für das Modellmanagement, einschließlich der Konvertierung vortrainierter Checkpoints zwischen verschiedenen Deep-Learning-Framework-Formaten und Tools für das Model-Deployment. Die Implementierung wird als Sammlung von Jupyter Notebooks bereitgestellt.

This project is a high-performance C++ and CUDA neural network library designed for fast training and inference of small networks on NVIDIA GPUs. It serves as a specialized backend for neural radiance fields and coordinate-based networks, providing a fused GPU kernel library and a hash grid encoder for transforming raw input dimensions into high-dimensional representations. The library distinguishes itself through the use of C++ template metaprogramming and fused-kernel execution, which merge neural network layers into single GPU device functions to eliminate memory bottlenecks. It leverages

This project is a collection of educational resources and reference implementations for neural network development using TensorFlow. It serves as a comprehensive learning course, machine learning curriculum, and practical implementation guide for building deep learning architectures. The codebase provides instructional materials and examples covering a wide range of model types, including convolutional neural networks for image classification, recurrent networks and long short-term memory cells for sequential data, and autoencoders for generative modeling. It also includes implementations for

Dieses Projekt ist eine umfassende Bildungsressource und ein Tutorial-Handbuch für das Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen mit TensorFlow 2. Es dient als strukturierter Lernleitfaden für grundlegende Deep-Learning-Konzepte, einschließlich neuronaler Netzwerkarchitekturen, automatischer Differenzierung und Tensor-Operationen. Das Handbuch bietet technische Anleitungen zur Optimierung der Ausführungseffizienz durch GPU-Speicherverwaltung, verteiltes Training und Modellquantisierung. Es enthält zudem detaillierte Anleitungen für den Aufbau leistungsfähiger Datenpipelines und den Export von Modellen für Produktionsserver, mobile Geräte und Webbrowser. Das Material deckt ein breites Spektrum an Funktionen ab, darunter die Modellentwicklung mit konvolutionellen und rekurrenten Netzwerken, die Implementierung benutzerdefinierter Verlustfunktionen und Layer sowie die Nutzung vortrainierter Modelle für Transfer Learning. Zudem werden Bereitstellungsstrategien für Edge-Geräte und die Nutzung cloudbasierter Runtimes zur Hardwarebeschleunigung behandelt. Die Ressource ist als Sammlung von Jupyter Notebooks implementiert.

Lightly is a self-supervised learning framework and computer vision data curation tool designed to manage large image datasets and train models on unlabeled data. It functions as a PyTorch vision library and dataset management SDK, providing tools to convert raw images into high-dimensional vectors for similarity search, visualization, and feature extraction. The project implements a variety of self-supervised architectures, including MoCo, SimCLR, VICReg, Barlow Twins, and masked image modeling. It distinguishes itself by combining these learning frameworks with active learning capabilities,