Awesome GitHub RepositoriesHardware Buffer Zero-Copy

NCCL es una biblioteca de comunicación de alto rendimiento y un framework de computación distribuida en GPU diseñado para ejecutar intercambios de datos colectivos y punto a punto a través de múltiples GPUs en sistemas de uno o varios nodos. Sirve como capa de transporte RDMA para GPU y orquestador de memoria, facilitando la sincronización de gran ancho de banda de datos y gradientes de modelos para el entrenamiento e inferencia distribuida en GPU. La biblioteca se distingue por su capacidad para ejecutar primitivas de comunicación directamente desde kernels de GPU, eliminando la CPU anfitriona del camino crítico. Utiliza la selección de rutas consciente de la topología para optimizar el movimiento de datos y emplea transporte de red basado en RDMA, incluyendo InfiniBand y NVLink, para permitir el acceso a memoria de copia cero entre dispositivos a través de diferentes nodos físicos. El proyecto cubre una amplia gama de patrones de comunicación colectiva, incluyendo reducciones, broadcasts, gathers e intercambios all-to-all, junto con acceso remoto a memoria punto a punto. Proporciona una gestión integral de comunicadores para inicializar, particionar y redimensionar grupos de GPU, así como una gestión de memoria especializada para registrar buffers y coordinar memoria compartida de dispositivo. El sistema incluye un conjunto de herramientas de monitoreo y observabilidad para el seguimiento de la salud, registro de diagnósticos y monitoreo de eventos en tiempo real, así como interfaces de integración para frameworks de aprendizaje automático, CUDA graphs, MPI y Python.

QtAV es un motor multimedia y framework multiplataforma que combina la decodificación de FFmpeg con el framework Qt para la renderización de audio y video. Funciona como un reproductor de video acelerado por hardware, un renderizador de video OpenGL y un transcodificador de flujos multimedia. El proyecto se distingue por una capa de decodificación de abstracción de hardware que utiliza interfaces de GPU como VA-API y VideoToolbox para decodificar video de alta resolución. Emplea una ruta de transferencia de memoria de copia cero para mover datos de video decodificados directamente a las APIs gráficas, reduciendo la carga de la CPU y permitiendo una renderización YUV de alto rendimiento. El motor cubre una amplia gama de capacidades, incluyendo control de reproducción multimedia, sincronización de flujos y extracción de metadatos. Proporciona herramientas para el procesamiento de video mediante shaders y filtros personalizados, así como transcodificación de medios y captura de fotogramas. El soporte de renderizado se extiende a contenido de alto rango dinámico (HDR), subtítulos de alta fidelidad y la visualización de carátulas de álbumes. El framework se integra directamente con el bucle de eventos y el sistema de señales de Qt para vincular los controles de reproducción y las superficies de salida de video a la interfaz de usuario.

LiteRT is a runtime and API for executing machine learning and generative AI models on mobile, desktop, and IoT hardware. It consists of an inference engine and a specialized environment for running quantized large language and diffusion models locally on edge hardware. The system includes an ahead-of-time model compiler that translates models into hardware-specific bytecode to reduce startup latency and memory overhead. It provides a unified interface for Neural Processing Units with automatic fallback routing to CPUs or GPUs when specific subgraph support is unavailable. An edge model conve