Awesome GitHub RepositoriesCUDA Compute Kernels

cuml ist eine GPU-beschleunigte Machine-Learning-Bibliothek und ein Framework, das CUDA nutzt, um die Vorverarbeitung tabellarischer Daten und die Modellausführung zu beschleunigen. Es bietet eine Suite von Tools zum Trainieren und Bereitstellen von Klassifizierungs-, Regressions- und Clustering-Modellen auf NVIDIA-GPUs und GPU-Clustern. Die Bibliothek ist auf Skalierbarkeit ausgelegt und bietet eine verteilte GPU-Machine-Learning-Umgebung, die Berechnungen und Daten über mehrere Hardware-Beschleuniger und Knoten hinweg verteilen kann, um Datensätze zu verarbeiten, die den Speicher eines einzelnen Geräts überschreiten. Sie spiegelt Standard-Estimator-Schnittstellen wider, um den Austausch von CPU-basierten Modellen durch GPU-beschleunigte Versionen innerhalb bestehender Workflows zu ermöglichen. Das Projekt deckt ein breites Spektrum an Machine-Learning-Funktionen ab, einschließlich überwachtem Lernen, unüberwachtem Clustering, Nearest-Neighbor-Suche und hochdimensionaler Dimensionsreduktion. Es enthält zudem hardwarebeschleunigte Vorverarbeitung tabellarischer Daten für Feature-Skalierung und -Kodierung, Text-Feature-Extraktion, Zeitreihenanalyse und Erklärbarkeit von Modellvorhersagen. Unterstützende Hilfsmittel umfassen Tools zur Generierung synthetischer Datensätze, zur Serialisierung des Modellzustands und zur Berechnung von Modell-Performance-Metriken.

Kaolin ist eine PyTorch-3D-Deep-Learning-Bibliothek, die eine umfassende Suite an Tools für 3D-Geometrieverarbeitung, Physiksimulation, Datenvisualisierung und gradientenbasiertes Rendering für Computer Vision bereitstellt. Die Bibliothek enthält einen differenzierbaren 3D-Renderer und ein Toolkit zur Geometrieverarbeitung für die Konvertierung und Transformation von 3D-Repräsentationen wie Meshes und Punktwolken. Sie verfügt zudem über eine 3D-Physiksimulations-Engine zur Berechnung physikalischer Interaktionen und Kollisionen zwischen dreidimensionalen Objekten und Szenen. Das Toolkit bietet Utilities für die 3D-Datenvisualisierung, einschließlich der Erstellung interaktiver Ansichten und Turntable-Animationen. Zusätzliche Funktionen decken das 3D-Datenmanagement, die Datenvorverarbeitung und das Rendering von 3D-Repräsentationen ab.

exllamav2 ist eine Hochleistungs-Inferenzbibliothek, die für das lokale Ausführen von Large Language Models auf Consumer-GPUs entwickelt wurde. Sie bietet einen GPU-beschleunigten Runner und Quantisierungstools, um die Modellausführung ohne Abhängigkeit von Cloud-Computing-Diensten zu ermöglichen. Das Projekt verfügt über ein Quantisierungs-Dienstprogramm, das Modelle in gemischte Bitraten zwischen zwei und acht Bit komprimiert, um den VRAM-Bedarf zu reduzieren. Es zeichnet sich durch einen gebatchten Textgenerator aus, der gruppierte Anfragen verarbeitet und Cache-Daten dedupliziert, um den Durchsatz zu erhöhen. Die Bibliothek deckt ein breites Funktionsspektrum ab, einschließlich asynchronem Token-Streaming für Echtzeit-Ausgabe, benutzerdefinierter GPU-Kernel-Ausführung für lineare Algebra-Operationen und lokalem Memory-Mapping für den Zugriff auf Modellgewichte mit geringer Latenz.

AI-System ist eine Bildungsressource und ein Toolkit, das für das Erlernen der Hardware- und Software-Grundlagen von Deep-Learning-Systemen konzipiert ist. Es bietet einen Lehrplan und praktische Übungen zum Aufbau von KI-Infrastruktur, die von Low-Level-CUDA-Kernel-Entwicklung bis hin zu High-Level-Systemmanagement reichen. Das Projekt enthält ein Toolkit zur Entwicklung von Tensor-Operationen und zur Optimierung der GPU-Performance durch direkte Hardwareprogrammierung. Zudem bietet es ein Framework für verteiltes Training, das sich auf Ressourcenplanung und Kommunikationsprotokolle konzentriert, um groß angelegte Modelle über mehrere Rechenknoten hinweg zu verwalten. Das System deckt KI-Sicherheitsanalysen zur Identifizierung von Datenschutzschwachstellen und gegnerischen Angriffen ab sowie Performance-Optimierung durch hardwarebewusste Kompilierung, Sparsity-getriebene Kompression und tensorbasierte Berechnungsgraphen. Es bietet zudem Tools zur Verwaltung von KI-Infrastruktur und zur Koordinierung von Bereitstellungsstrategien für High-Performance-Inferenzumgebungen.

Dieses Projekt ist eine chinesische Übersetzung der technischen Handbücher und API-Referenzen für das PyTorch Deep-Learning-Framework. Es dient als lokalisierte Wissensdatenbank und Referenzmaterial, um die Deep-Learning-Dokumentation für nicht-englischsprachige Nutzer zugänglich zu machen. Die Dokumentation deckt ein umfassendes Spektrum an PyTorch-Funktionen ab, einschließlich der Entwicklung neuronaler Netzwerkmodelle, automatischer Differenzierung und der Implementierung von Backend-Kernels. Sie bietet detaillierte Anleitungen zu verteilten Trainingsstrategien, Modellbereitstellung über Formate wie ONNX und C++ sowie verschiedene Techniken zur Modelloptimierung und Quantisierung. Das Projekt nutzt eine Community-gesteuerte Übersetzungspipeline und ein verteiltes Beitragsmodell, um versionierte Inhalte aktuell zu halten. Technische Materialien sind in Markdown organisiert und werden über Static Site Generation in eine navigierbare Website umgewandelt.

Deformable-ConvNets ist ein Computer-Vision-Framework und eine Sammlung von neuronalen Netzwerkkomponenten zur Implementierung von deformierbaren faltenden neuronalen Netzen (CNNs). Es bietet adaptive Convolutional-Layer und Pooling-Implementierungen, die ihre rezeptiven Felder basierend auf Eingabemerkmalen anpassen, um die Geometrie von Objekten in Bildern präziser zu erfassen. Das Projekt ermöglicht den Einsatz von lernbaren Sampling-Offsets und Modulationsmasken, um Convolutional-Grids an die Formen von Zielobjekten auszurichten. Es enthält spezialisierte Tools zur Visualisierung der gelernten Offsets in Convolution- und Pooling-Layern, wodurch analysiert werden kann, wie das Netzwerk sein räumliches rezeptives Feld anpasst. Diese Funktionen werden eingesetzt, um die Genauigkeit der Objekterkennung zu verbessern und die semantische Segmentierung zu verfeinern. Das Framework unterstützt die Extraktion von Merkmalen aus Regionen von Interesse (RoI) durch Deformable Pooling, um Sampling-Bereiche an tatsächliche Objektgrenzen anzupassen. Die Implementierung umfasst eine Trainings-Pipeline zur Ausführung und Evaluierung dieser spezialisierten Netzwerkarchitekturen.

warp-ctc ist eine Hochleistungsbibliothek zur Berechnung der Connectionist Temporal Classification (CTC) Loss zum Training von Sequence-to-Sequence-Deep-Learning-Modellen. Sie bietet eine numerische Stabilitätsschicht unter Verwendung von Log-Space-Berechnungen, um Underflow- und Präzisionsfehler bei Wahrscheinlichkeitsberechnungen für lange Sequenzen zu verhindern. Die Bibliothek nutzt hardwarebeschleunigte Kernels, um den Loss parallel über CPU- und GPU-Architekturen hinweg zu berechnen. Sie konzentriert sich auf die Steigerung des Trainingsdurchsatzes durch die Optimierung der dynamischen Programmierschritte des CTC-Algorithmus. Diese Fähigkeiten unterstützen das Training von Modellen für Spracherkennung, Handschrifterkennung (OCR) und allgemeines Sequence-to-Sequence-Mapping. Das Projekt beinhaltet eine Integration zur Berechnung von Loss und alignment-freiem Training innerhalb von TensorFlow.

CUDA.jl provides a programming interface for executing custom kernels and performing parallel array computing directly on NVIDIA graphics hardware using the Julia language. It serves as a framework for compiling and scheduling user-defined functions across multiple processing cores, enabling high-performance data processing and task synchronization. The library distinguishes itself through a custom compiler backend that translates high-level language functions into hardware-specific machine code. It manages complex hardware interactions through asynchronous stream scheduling, unified memory m