Awesome GitHub RepositoriesHardware Buffer Zero-Copy

NCCL 是一个高性能通信库和分布式 GPU 计算框架，专为在单节点或多节点系统中的多个 GPU 之间执行集合和点对点数据交换而设计。它充当 RDMA GPU 传输层和内存编排器，为分布式 GPU 训练和推理提供高带宽的数据和模型梯度同步。 该库的特色在于能够直接从 GPU 内核执行通信原语，将主机 CPU 从关键路径中移除。它利用拓扑感知路径选择来优化数据移动，并采用包括 InfiniBand 和 NVLink 在内的基于 RDMA 的网络传输，以实现设备跨不同物理节点之间的零拷贝内存访问。 该项目涵盖了广泛的集合通信模式，包括归约（Reductions）、广播（Broadcasts）、收集（Gathers）和全对全交换（All-to-all exchanges），以及点对点远程内存访问。它提供全面的通信器管理，用于初始化、分区和调整 GPU 组大小，以及用于注册缓冲区和协调共享设备内存的专用内存管理。 该系统包括一套用于健康跟踪、诊断日志记录和实时事件监控的监控与可观测性工具，以及用于机器学习框架、CUDA Graphs、MPI 和 Python 的集成接口。

QtAV 是一个跨平台媒体引擎和多媒体框架，结合了 FFmpeg 解码与 Qt 框架，用于音频和视频渲染。它作为一个硬件加速视频播放器、OpenGL 视频渲染器和多媒体流转码器。 该项目通过硬件抽象解码层脱颖而出，该层利用 VA-API 和 VideoToolbox 等 GPU 接口来解码高分辨率视频。它采用零拷贝内存传输路径将解码后的视频数据直接移动到图形 API，从而降低 CPU 开销并实现高性能 YUV 渲染。 该引擎涵盖了广泛的功能，包括多媒体播放控制、流同步和元数据提取。它提供通过自定义着色器和过滤器进行视频处理的工具，以及媒体转码和帧捕获。渲染支持扩展到高动态范围 (HDR) 内容、高保真字幕和专辑封面显示。 该框架直接与 Qt 事件循环和信号系统集成，将播放控制和视频输出表面绑定到用户界面。

LiteRT is a runtime and API for executing machine learning and generative AI models on mobile, desktop, and IoT hardware. It consists of an inference engine and a specialized environment for running quantized large language and diffusion models locally on edge hardware. The system includes an ahead-of-time model compiler that translates models into hardware-specific bytecode to reduce startup latency and memory overhead. It provides a unified interface for Neural Processing Units with automatic fallback routing to CPUs or GPUs when specific subgraph support is unavailable. An edge model conve