Awesome GitHub RepositoriesInference Model Deployment

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Gluon-CV 是一个 MXNet 计算机视觉库，提供了一系列预实现的视觉架构和训练管线。它作为一个深度学习研究工具包和模型库，包含用于图像和视频分析的最先进预训练权重。 该项目包括一个专门的人体姿态估计库和模型压缩工具包。这些工具允许对深度学习模型进行剪枝和量化，以提高推理速度并促进在受限边缘硬件上的部署。 该库涵盖了广泛的视觉功能，包括图像分类、目标检测以及语义和实例分割。它还提供视频分析工具，如动作识别、目标跟踪和单目深度估计。 训练通过自动化管线和分布式多 GPU 工作负载提供支持，以加速模型收敛。

YOLOv6 是一个专为工业目标检测设计的单阶段深度学习框架。它作为一个计算机视觉模型训练器，用于识别和定位图像中的对象，以及一个使用掩码描绘精确对象边界的实例分割工具。 该项目包括一个专门的移动端推理优化器和模型量化工具包。这些组件专注于减小模型大小和分辨率以提高在 ARM 架构芯片组上的执行速度，并将模型转换为低精度格式以减小文件大小。 该框架涵盖了广泛的功能，包括自定义模型训练、实时实例分割以及用于跨平台执行的模型运行时转换。它还支持边缘设备推理优化，以保持在各种硬件运行时上的性能。

MMdnn 是一个深度学习模型转换与迁移工具，旨在实现 TensorFlow、PyTorch 和 Keras 等不同框架之间的神经网络架构与权重转换。它利用标准化的中间表示（IR）将网络结构和权重与特定框架的实现解耦，从而支持在不同环境中转换预训练模型。 该项目的特色在于能从中间表示生成原生的 Python 重构代码，允许在目标环境中重建和微调模型。它还包含用于移动端模型部署的专用工具，可将深度学习模型转换为 CoreML 和 TensorFlow Lite 等移动兼容格式。 该系统提供了一套更广泛的功能，包括用于检查图结构和元数据的神经网络架构可视化，以及用于验证转换后模型是否保持原始行为和精度的模型推理执行。其他实用程序还可处理从远程仓库获取预训练权重以及组装可部署的模型检查点。

该项目是 YOLOv4 目标检测框架的 PyTorch 实现。它提供了一个用于训练和部署神经网络的系统，该系统可以识别并定位图像和视频流中的多个对象。 该框架包括将训练权重转换为通用格式和硬件特定优化引擎的工具，专门支持 ONNX 和 TensorRT。它具有 TensorRT 推理优化器以减少延迟并提高吞吐量，以及与 NVIDIA DeepStream 流分析管道兼容的模型架构。 该系统涵盖了使用马赛克数据增强的模型训练，并支持跨多个推理引擎的实时目标检测。它提供了用于模型转换为 TensorFlow 的实用程序，并支持用于部署的静态和动态批处理配置。

lite.ai.toolkit 是一个专为边缘 AI 部署设计的 C++ 计算机视觉工具包。它支持在资源受限的设备上执行用于目标检测、图像分类和分割的预训练模型。 该项目具有支持 ONNX 模型运行时的多后端推理引擎，允许 AI 模型跨不同的硬件目标运行。它包含一个专门针对 NVIDIA 硬件的 GPU 加速管道，以减少延迟并提高处理速度。 该工具包涵盖了广泛的面部分析功能，包括情绪检测、性别和年龄估计以及头部姿态分析。它还通过提取特征嵌入和计算余弦相似度来验证身份，从而提供面部识别工具。 其他功能包括用于前景隔离的图像抠图、灰度图像着色和艺术风格迁移。

该项目是 RetinaNet 架构的深度学习实现，用于图像中的对象检测和分类。它构建为 Keras 对象检测框架和 TensorFlow 计算机视觉工具，提供了基于 RetinaNet 论文的完整神经网络实现。 该框架包含特征金字塔网络（Feature Pyramid Network）和用于处理对象检测的焦点损失函数（focal loss function）等专用组件。它具有可配置的主干架构和基于锚点（anchor-based）的边界框，可预测不同尺度和长宽比下的对象位置。 该工具集涵盖了计算机视觉的端到端工作流，包括训练例程、性能评估和模型推理部署。它提供数据管理实用程序，用于从 CSV 和 Pascal VOC 格式导入和调试图像标注，以及将训练好的模型转换为不同格式以进行部署的工具。

MODNet 是一个深度学习图像分割和人像抠图模型，旨在将人物主体从背景中分离出来。它仅使用标准 RGB 输入即可为图像和视频生成高质量的 Alpha 遮罩，消除了对手动三元图（trimap）引导的需求。 该框架针对实时推理进行了优化，并提供了将预训练模型权重导出为特定格式以部署在目标硬件上的实用工具。 该项目涵盖了人像分离的完整工作流，包括在标记数据集上进行监督式抠图模型训练、实时视频背景移除以及边缘硬件部署。