Awesome GitHub RepositoriesHardware Buffer Zero-Copy

NCCL est une bibliothèque de communication haute performance et un framework de calcul GPU distribué conçu pour exécuter des échanges de données collectifs et point à point sur plusieurs GPU dans des systèmes à un ou plusieurs nœuds. Il sert de couche de transport GPU RDMA et d'orchestrateur de mémoire, facilitant la synchronisation à large bande passante des données et des gradients de modèle pour l'entraînement et l'inférence GPU distribués. La bibliothèque se distingue par sa capacité à exécuter des primitives de communication directement depuis les noyaux (kernels) GPU, supprimant le CPU hôte du chemin critique. Elle utilise une sélection de chemin consciente de la topologie pour optimiser le mouvement des données et emploie un transport réseau basé sur RDMA, incluant InfiniBand et NVLink, pour permettre un accès mémoire zéro-copie entre les appareils sur différents nœuds physiques. Le projet couvre un large éventail de modèles de communication collective, notamment les réductions, les diffusions (broadcasts), les rassemblements (gathers) et les échanges tous-à-tous, ainsi que l'accès mémoire distant point à point. Il fournit une gestion complète des communicateurs pour initialiser, partitionner et redimensionner les groupes GPU, ainsi qu'une gestion spécialisée de la mémoire pour enregistrer les tampons (buffers) et coordonner la mémoire partagée des appareils. Le système inclut une suite d'outils de surveillance et d'observabilité pour le suivi de la santé, la journalisation diagnostique et la surveillance des événements en temps réel, ainsi que des interfaces d'intégration pour les frameworks de machine learning, les graphes CUDA, MPI et Python.

QtAV est un moteur multimédia multiplateforme et un framework multimédia qui combine le décodage FFmpeg avec le framework Qt pour le rendu audio et vidéo. Il fonctionne comme un lecteur vidéo accéléré par le matériel, un moteur de rendu vidéo OpenGL et un transcodeur de flux multimédia. Le projet se distingue par une couche de décodage avec abstraction matérielle qui utilise des interfaces GPU telles que VA-API et VideoToolbox pour décoder la vidéo haute résolution. Il emploie un chemin de transfert mémoire « zero-copy » pour déplacer les données vidéo décodées directement vers les API graphiques, réduisant la charge CPU et permettant un rendu YUV haute performance. Le moteur couvre un large éventail de capacités, incluant le contrôle de la lecture multimédia, la synchronisation des flux et l'extraction de métadonnées. Il fournit des outils pour le traitement vidéo via des shaders et filtres personnalisés, ainsi que le transcodage média et la capture d'images. Le support du rendu s'étend au contenu HDR, aux sous-titres haute fidélité et à l'affichage des pochettes d'album. Le framework s'intègre directement à la boucle d'événements et au système de signaux de Qt pour lier les contrôles de lecture et les surfaces de sortie vidéo à l'interface utilisateur.

LiteRT is a runtime and API for executing machine learning and generative AI models on mobile, desktop, and IoT hardware. It consists of an inference engine and a specialized environment for running quantized large language and diffusion models locally on edge hardware. The system includes an ahead-of-time model compiler that translates models into hardware-specific bytecode to reduce startup latency and memory overhead. It provides a unified interface for Neural Processing Units with automatic fallback routing to CPUs or GPUs when specific subgraph support is unavailable. An edge model conve