Awesome GitHub RepositoriesWeight Extraction

LLaMA-Adapter ist ein Framework für parameter-effizientes Fine-Tuning, das darauf ausgelegt ist, Large Language Models mit einer minimalen Anzahl trainierbarer Parameter anzupassen. Es fungiert als Instruction-Tuning-Tool und multimodaler Adapter, der es vortrainierten Modellen ermöglicht, menschlichen Anweisungen zu folgen und nicht-textuelle Daten zu verarbeiten. Das Projekt spezialisiert sich auf die Integration von Bild-, Video-, Audio- und Sensordaten in Sprachmodelle für ein cross-modales Verständnis. Es ermöglicht die Anpassung von LLaMA-Modellen durch den Einsatz leichtgewichtiger Adapter, was die Extraktion und Speicherung gelernter Gewichte unabhängig vom vollständigen Modell-Checkpoint erlaubt. Das Framework deckt den gesamten Trainings- und Evaluierungs-Lebenszyklus ab, einschließlich Adapter-Pre-Training und Verfeinerung. Es bietet Funktionen für die multimodale Datenintegration und die Evaluierung der Modell-Performance anhand von Benchmark-Datensätzen, um die Antwortgenauigkeit zu messen.

AnimeGANv2 ist ein Framework für das Training generativer kontradiktorischer Netzwerke (GANs) und ein Tool zur Bildstilisierung, das reale Fotos und Videos in Anime-Stil umwandelt. Es fungiert als Anime-Style-Generator, der reale Szenen durch überwachtes Style-Transfer in Animationen transformiert. Das Projekt bietet ein System zum Trainieren von Style-Modellen und zum Extrahieren spezifischer Generator-Gewichtsparameter aus Deep-Learning-Checkpoints, um leichtgewichtige Modelle für die Inferenz zu erstellen. Der Fokus liegt auf der Stilisierung von Landschaftsbildern und der Fähigkeit, spezifische künstlerische Stile aus bereitgestellten Datensätzen zu imitieren. Das Framework unterstützt sowohl die Umwandlung von Fotos als auch von Videos in Anime-Stil, indem es eine konsistente Ästhetik über einzelne Videoframes hinweg anwendet. Die Funktionen umfassen allgemeine KI-Kunstgenerierung sowie das Training von Generatoren zur Replikation von Zielstilen.

AnimeGAN ist ein Generative Adversarial Network (GAN) und Bildübersetzer, der mit TensorFlow entwickelt wurde. Er ist für den Stiltransfer von Foto zu Anime konzipiert und nutzt ein Deep-Learning-System, um reale Fotos und Videoframes in Anime-Stil-Bilder umzuwandeln. Das System enthält einen Video-zu-Anime-Konverter, der konsistente visuelle Transformationen über sequenzielle Frames hinweg anwendet. Es unterstützt sowohl das Training generativer Netzwerke auf künstlerischen Datensätzen zur Replikation spezifischer Stile als auch die Extraktion von Generator-Gewichten aus Checkpoints für effiziente Inferenz. Das Projekt bietet Dienstprogramme zur Bildverfeinerung, einschließlich Kantenglättung und Weichzeichnung, um visuelle Übergänge zu verbessern. Zudem verwaltet es die Verarbeitung von Videodateien durch sequenzielle Frame-Pipelines.

MedSAM ist ein Deep-Learning-Framework zur Automatisierung der Segmentierung anatomischer Strukturen in medizinischen 2D- und 3D-Bildern. Es bietet spezialisierte Tools für das Fine-Tuning vortrainierter Segmentierungsgewichte auf benutzerdefinierten medizinischen Datensätzen und zur Bewertung der Genauigkeit dieser Vorhersagen gegenüber Ground-Truth-Labels. Das Projekt konzentriert sich auf die Anpassung der Segment Anything Model-Architektur für den medizinischen Einsatz und ermöglicht die Isolierung spezifischer anatomischer Strukturen durch prompt-gesteuerte Methoden wie Bounding-Boxes und Punkt-Prompts. Das System deckt einen vollständigen medizinischen KI-Workflow ab, einschließlich Data Engineering für Intensitätsnormalisierung und räumliches Resampling sowie Modellmanagement für Checkpoint-Konvertierung und Gewichtsextraktion. Es unterstützt das Training über Single- oder Distributed-GPU-Pipelines zur Verarbeitung groß angelegter Bilddatensätze.

Stable-audio-tools is a toolkit for training and deploying latent diffusion models for high-fidelity audio synthesis. It provides a framework for generating audio by iteratively refining noise within a compressed latent space, using specialized encoders to preserve temporal and spectral features of the audio signal. The project features a system for adapting pre-trained audio checkpoints to new datasets through modular initialization and configuration files. It includes utilities for weight extraction and inference model export, which remove training metadata and optimizer states to create li

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material