Awesome GitHub RepositoriesHigh-Performance Optimizer Implementations

Apex is a high-performance toolkit for PyTorch designed to coordinate distributed training, execute fused GPU kernels, manage mixed precision, and implement optimized distributed optimizers. It provides specialized tools for scaling model training across multiple GPUs and nodes to increase processing speed and throughput. The library features high-performance implementations of Adam and LAMB optimizers to reduce synchronization overhead and memory bottlenecks. It utilizes fused CUDA kernels to combine neural network operations, reducing memory overhead and increasing execution speed. The too

Tensorpack es un framework de entrenamiento de TensorFlow de alto rendimiento y un toolkit de deep learning distribuido. Proporciona un conjunto de herramientas para construir y entrenar redes neuronales con un enfoque en la velocidad de ejecución y la flexibilidad arquitectónica. El proyecto sirve como una suite de optimización de redes neuronales, implementando patrones de ejecución de alta eficiencia para reducir la sobrecarga de entrenamiento. Funciona como un pipeline de carga de datos en paralelo, utilizando la paralelización automatizada para maximizar el rendimiento al procesar grandes conjuntos de datos. El toolkit cubre el entrenamiento distribuido a través de múltiples GPUs y clusters de cómputo utilizando estrategias de paralelismo de datos. Sus capacidades incluyen el procesamiento de conjuntos de datos a gran escala y la optimización del rendimiento para aumentar el rendimiento del entrenamiento.

TNN es un framework de inferencia de deep learning diseñado para ejecutar redes neuronales preentrenadas en hardware móvil, de escritorio y servidor. Funciona como un runtime acelerado por hardware y un kit de herramientas de compresión de modelos, proporcionando una interfaz unificada para desplegar modelos en diversos entornos. El framework incluye un convertidor de modelos ONNX para transformar modelos de varios frameworks de entrenamiento a un formato interno estandarizado. Se distingue por una combinación de herramientas de compresión de modelos —incluyendo cuantización de pesos y poda de código estático— y un sistema de gestión de memoria que reutiliza buffers entre nodos no dependientes para reducir el uso de RAM. El sistema optimiza el rendimiento mediante la fusión de operadores para minimizar el acceso a la memoria y emplea backends específicos de plataforma para aprovechar procesadores especializados y GPUs. Aumenta aún más la velocidad de ejecución mediante cálculos de baja precisión y ajustes específicos de hardware.

Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.

oneDNN es una biblioteca para la aceleración del aprendizaje profundo que proporciona bloques de construcción optimizados para el entrenamiento e inferencia de redes neuronales. Gestiona la computación de tensores a través de hardware CPU y GPU, permitiendo la ejecución de primitivas de alto rendimiento para el entrenamiento de modelos y la optimización de la inferencia de redes neuronales. El proyecto se distingue por la optimización de kernels específica para el hardware y el uso de compilación just-in-time para apuntar a conjuntos de instrucciones de procesador específicos. Soporta la ejecución de redes neuronales cuantizadas utilizando cuantización estática y dinámica para reducir el uso de memoria y aumentar el rendimiento. La biblioteca cubre una amplia gama de capacidades, incluyendo primitivas de aprendizaje profundo como convoluciones, multiplicación de matrices y ejecución de redes neuronales recurrentes. Implementa optimizaciones de rendimiento avanzadas, incluyendo fusión de operaciones, optimización de grafos de computación y gestión de formatos de memoria. La integración se proporciona a través de una ABI C estable y un wrapper C++, con soporte para SYCL, OpenCL y bibliotecas de álgebra lineal externas. El sistema incluye herramientas de observabilidad para la creación de perfiles de rendimiento de hardware, benchmarking de primitivas y registro de ejecución detallado.

This project is a collection of technical guides and manuals for the Apache TVM compiler stack translated into Simplified Chinese. It provides translated documentation focusing on deep learning compilation and the transformation of machine learning models into optimized executable code. The documentation covers the use of hardware backend guides for deploying models across CPUs, GPUs, and specialized accelerators. It also includes references for intermediate representations and graph-level optimizations used to compile tensor programs.