Awesome GitHub RepositoriesInference Model Deployment

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

Gluon-CV es una biblioteca de visión artificial para MXNet que proporciona una colección completa de arquitecturas de visión preimplementadas y tuberías de entrenamiento. Sirve como un kit de herramientas de investigación de aprendizaje profundo y un zoológico de modelos (model zoo) que contiene pesos preentrenados de última generación para análisis de imágenes y video. El proyecto incluye una biblioteca especializada en estimación de pose humana y un kit de herramientas de compresión de modelos. Estas herramientas permiten la poda (pruning) y cuantización de modelos de aprendizaje profundo para aumentar la velocidad de inferencia y facilitar el despliegue en hardware de borde (edge hardware) con recursos limitados. La biblioteca cubre una amplia gama de capacidades de visión, incluyendo clasificación de imágenes, detección de objetos y segmentación semántica e instanciada. También proporciona herramientas para análisis de video, como reconocimiento de acciones, seguimiento de objetos y estimación de profundidad monocular. El entrenamiento es compatible a través de tuberías automatizadas y cargas de trabajo distribuidas multi-GPU para acelerar la convergencia del modelo.

YOLOv6 es un framework de aprendizaje profundo de una sola etapa diseñado para la detección industrial de objetos. Sirve como un entrenador de modelos de visión artificial para identificar y localizar objetos dentro de imágenes, así como una herramienta de segmentación de instancias que delinea límites precisos de objetos utilizando máscaras. El proyecto incluye un optimizador de inferencia móvil especializado y un kit de herramientas de cuantización de modelos. Estos componentes se centran en reducir el tamaño y la resolución del modelo para mejorar la velocidad de ejecución en chipsets basados en ARM y convertir modelos a formatos de baja precisión para disminuir el tamaño del archivo. El framework cubre una amplia gama de capacidades, incluyendo entrenamiento de modelos personalizados, segmentación de instancias en tiempo real y conversión de tiempo de ejecución de modelos para ejecución multiplataforma. También admite la optimización de inferencia en dispositivos de borde para mantener el rendimiento en varios tiempos de ejecución de hardware.

MMdnn es un conversor y migrador de modelos de deep learning diseñado para traducir arquitecturas y pesos de redes neuronales entre diferentes frameworks como TensorFlow, PyTorch y Keras. Utiliza una representación intermedia estandarizada para desacoplar las estructuras de red y los pesos de las implementaciones específicas de cada framework, permitiendo la transformación de modelos preentrenados entre distintos entornos. El proyecto destaca por generar código de reconstrucción nativo en Python a partir de sus representaciones intermedias, lo que permite reconstruir y ajustar modelos en los entornos de destino. También incluye herramientas especializadas para el despliegue de modelos en dispositivos móviles, transformando modelos de deep learning a formatos compatibles como CoreML y TensorFlow Lite. El sistema ofrece un conjunto más amplio de capacidades, incluyendo la visualización de arquitecturas de redes neuronales para inspeccionar estructuras de grafos y metadatos, así como la ejecución de inferencia para validar que los modelos convertidos mantengan su comportamiento y precisión originales. Otras utilidades gestionan la recuperación de pesos preentrenados desde repositorios remotos y el ensamblaje de checkpoints de modelos desplegables.

Este proyecto es una implementación en PyTorch del framework de detección de objetos YOLOv4. Proporciona un sistema para entrenar y desplegar redes neuronales que identifican y localizan múltiples objetos dentro de imágenes y flujos de video. El framework incluye herramientas para convertir pesos entrenados en formatos universales y motores optimizados específicos para hardware, soportando específicamente ONNX y TensorRT. Cuenta con un optimizador de inferencia TensorRT para reducir la latencia y aumentar el rendimiento, así como una arquitectura de modelo compatible con los pipelines de análisis de streaming NVIDIA DeepStream. El sistema cubre el entrenamiento de modelos con aumento de datos tipo mosaico y soporta detección de objetos en tiempo real a través de múltiples motores de inferencia. Proporciona utilidades para la conversión de modelos a TensorFlow y soporta configuraciones de batch tanto estáticas como dinámicas para el despliegue.

lite.ai.toolkit es un toolkit de visión artificial en C++ diseñado para el despliegue de IA en el borde (edge). Permite la ejecución de modelos preentrenados para detección de objetos, clasificación de imágenes y segmentación en dispositivos con recursos limitados. El proyecto cuenta con un motor de inferencia multi-backend que admite el runtime de modelos ONNX, permitiendo que los modelos de IA se ejecuten en diferentes objetivos de hardware. Incluye un pipeline acelerado por GPU específicamente para hardware NVIDIA para reducir la latencia y aumentar la velocidad de procesamiento. El toolkit cubre una amplia gama de capacidades de análisis facial, incluyendo detección de emociones, estimación de género y edad, y análisis de pose de cabeza. También proporciona herramientas para el reconocimiento facial mediante la extracción de embeddings de características y el cálculo de similitud de coseno para verificar identidades. Las capacidades adicionales incluyen el matting de imágenes para el aislamiento del primer plano, la colorización de imágenes en escala de grises y la transferencia de estilo artístico.

Este proyecto es una implementación de deep learning de la arquitectura RetinaNet para detectar y clasificar objetos dentro de imágenes. Construido como un framework de detección de objetos Keras y una herramienta de visión por computadora TensorFlow, proporciona una implementación completa de red neuronal basada en el paper de RetinaNet. El framework incluye componentes especializados como una red de pirámide de características (Feature Pyramid Network) y una función de pérdida focal para manejar la detección de objetos. Cuenta con una arquitectura de backbone configurable y cajas delimitadoras basadas en anclas para predecir ubicaciones de objetos a través de escalas y relaciones de aspecto variables. El conjunto de herramientas cubre el flujo de trabajo de extremo a extremo para visión por computadora, incluyendo rutinas de entrenamiento, evaluación de rendimiento y despliegue de inferencia de modelos. Proporciona utilidades de gestión de datos para importar y depurar anotaciones de imágenes desde formatos CSV y Pascal VOC, así como herramientas para convertir modelos entrenados en diferentes formatos para su despliegue.

MODNet is a deep learning image segmenter and portrait matting model designed to isolate human subjects from backgrounds. It generates high-quality alpha mattes for images and video using only standard RGB input, removing the requirement for manual trimap guides. The framework is optimized for real-time inference and provides utilities to export pre-trained model weights into specialized formats for deployment on target hardware. The project covers the full workflow for portrait isolation, including supervised matting model training on labeled datasets, real-time video background removal, an