Awesome GitHub RepositoriesInference Model Deployment

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Gluon-CV est une bibliothèque de vision par ordinateur MXNet qui fournit une collection complète d'architectures de vision pré-implémentées et de pipelines d'entraînement. Elle sert de toolkit de recherche en deep learning et de zoo de modèles contenant des poids pré-entraînés à l'état de l'art pour l'analyse d'images et de vidéos. Le projet inclut une bibliothèque spécialisée d'estimation de pose humaine et un toolkit de compression de modèles. Ces outils permettent l'élagage et la quantification de modèles de deep learning pour augmenter la vitesse d'inférence et faciliter le déploiement sur du matériel edge contraint. La bibliothèque couvre un large éventail de capacités de vision, incluant la classification d'images, la détection d'objets, ainsi que la segmentation sémantique et d'instance. Elle fournit également des outils pour l'analyse vidéo, tels que la reconnaissance d'action, le suivi d'objets et l'estimation de profondeur monoculaire. L'entraînement est pris en charge via des pipelines automatisés et des charges de travail multi-GPU distribuées pour accélérer la convergence des modèles.

YOLOv6 est un framework de deep learning à une étape conçu pour la détection d'objets industrielle. Il sert d'entraîneur de modèle de vision par ordinateur pour identifier et localiser des objets dans des images, ainsi que d'outil de segmentation d'instance qui délimite des frontières d'objets précises en utilisant des masques. Le projet inclut un optimiseur d'inférence mobile spécialisé et un toolkit de quantification de modèle. Ces composants se concentrent sur la réduction de la taille et de la résolution du modèle pour améliorer la vitesse d'exécution sur les chipsets basés sur ARM et la conversion des modèles vers des formats de basse précision pour diminuer la taille des fichiers. Le framework couvre un large éventail de capacités, incluant l'entraînement de modèles personnalisés, la segmentation d'instance en temps réel et la conversion de runtime de modèle pour une exécution multiplateforme. Il prend également en charge l'optimisation de l'inférence sur appareil edge pour maintenir la performance sur divers runtimes matériels.

MMdnn est un convertisseur et migrateur de modèles de deep learning conçu pour traduire les architectures et les poids de réseaux de neurones entre différents frameworks tels que TensorFlow, PyTorch et Keras. Il utilise une représentation intermédiaire standardisée pour découpler les structures de réseau et les poids des implémentations spécifiques aux frameworks, permettant ainsi la transformation de modèles pré-entraînés dans différents environnements. Le projet se distingue par la génération de code de reconstruction Python natif à partir de ses représentations intermédiaires, permettant aux modèles d'être reconstruits et affinés dans les environnements cibles. Il inclut également des outils spécialisés pour le déploiement de modèles mobiles, transformant les modèles de deep learning en formats compatibles avec les mobiles comme CoreML et TensorFlow Lite. Le système offre une suite plus large de fonctionnalités, notamment la visualisation de l'architecture des réseaux de neurones pour inspecter les structures de graphes et les métadonnées, ainsi que l'exécution d'inférence de modèles pour valider que les modèles convertis conservent leur comportement et leur précision d'origine. Des utilitaires supplémentaires gèrent la récupération de poids pré-entraînés depuis des dépôts distants et l'assemblage de points de contrôle de modèles déployables.

This project is a PyTorch implementation of the YOLOv4 object detection framework. It provides a system for training and deploying neural networks that identify and locate multiple objects within images and video streams. The framework includes tools for converting trained weights into universal formats and hardware-specific optimized engines, specifically supporting ONNX and TensorRT. It features a TensorRT inference optimizer to reduce latency and increase throughput, as well as a model architecture compatible with NVIDIA DeepStream streaming analytics pipelines. The system covers model tr

lite.ai.toolkit est une boîte à outils de vision par ordinateur en C++ conçue pour le déploiement d'IA sur le edge. Elle permet l'exécution de modèles pré-entraînés pour la détection d'objets, la classification d'images et la segmentation sur des appareils aux ressources limitées. Le projet dispose d'un moteur d'inférence multi-backend qui prend en charge le runtime de modèle ONNX, permettant aux modèles d'IA de s'exécuter sur différentes cibles matérielles. Il inclut un pipeline accéléré par GPU spécifiquement pour le matériel NVIDIA afin de réduire la latence et d'augmenter la vitesse de traitement. La boîte à outils couvre un large éventail de capacités d'analyse faciale, incluant la détection d'émotions, l'estimation du genre et de l'âge, et l'analyse de la pose de la tête. Elle fournit également des outils pour la reconnaissance faciale via l'extraction d'embeddings de caractéristiques et le calcul de similarité cosinus pour vérifier les identités. Les capacités supplémentaires incluent le détourage d'image (matting) pour l'isolation du premier plan, la colorisation d'images en niveaux de gris et le transfert de style artistique.

This project is a deep learning implementation of the RetinaNet architecture for detecting and classifying objects within images. Built as a Keras object detection framework and a TensorFlow computer vision tool, it provides a complete neural network implementation based on the RetinaNet paper. The framework includes specialized components such as a Feature Pyramid Network and a focal loss function to handle object detection. It features a configurable backbone architecture and anchor-based bounding boxes to predict object locations across varying scales and aspect ratios. The toolset covers

MODNet est un modèle de segmentation d'image et de matting de portrait par deep learning conçu pour isoler les sujets humains des arrière-plans. Il génère des mattes alpha de haute qualité pour les images et les vidéos en utilisant uniquement une entrée RGB standard, supprimant l'exigence de guides trimap manuels. Le framework est optimisé pour l'inférence en temps réel et fournit des utilitaires pour exporter les poids de modèles pré-entraînés dans des formats spécialisés pour un déploiement sur le matériel cible. Le projet couvre le flux de travail complet pour l'isolation de portrait, y compris l'entraînement de modèles de matting supervisés sur des jeux de données étiquetés, la suppression d'arrière-plan vidéo en temps réel et le déploiement sur matériel périphérique (edge hardware).