Awesome GitHub RepositoriesOperator Fusions

TNN ist ein Deep-Learning-Inferenz-Framework, das für die Ausführung vortrainierter neuronaler Netzwerke auf Mobil-, Desktop- und Server-Hardware entwickelt wurde. Es fungiert als hardwarebeschleunigte Laufzeitumgebung und Toolkit zur Modellkomprimierung und bietet eine einheitliche Schnittstelle für die Bereitstellung von Modellen in verschiedenen Umgebungen. Das Framework enthält einen ONNX-Modellkonverter, um Modelle aus verschiedenen Trainings-Frameworks in ein standardisiertes internes Format zu transformieren. Es zeichnet sich durch eine Kombination von Modellkomprimierungstools aus – einschließlich Gewichtungsquantisierung und Static-Code-Pruning – sowie ein Speichermanagementsystem, das Puffer zwischen nicht-abhängigen Knoten wiederverwendet, um den RAM-Verbrauch zu senken. Das System optimiert die Leistung durch Operator-Fusion, um Speicherzugriffe zu minimieren, und nutzt plattformspezifische Backends, um spezialisierte Prozessoren und GPUs zu nutzen. Es steigert die Ausführungsgeschwindigkeit weiter durch Berechnungen mit niedriger Präzision und hardware-spezifische Optimierungen.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

This project is a collection of technical guides and manuals for the Apache TVM compiler stack translated into Simplified Chinese. It provides translated documentation focusing on deep learning compilation and the transformation of machine learning models into optimized executable code. The documentation covers the use of hardware backend guides for deploying models across CPUs, GPUs, and specialized accelerators. It also includes references for intermediate representations and graph-level optimizations used to compile tensor programs.