Awesome GitHub RepositoriesModel Format Optimizers

TensorFlow.js is a JavaScript machine learning library and browser-based runtime used to build, train, and execute models. It functions as a WebGL accelerated tensor engine, providing a foundation for high-performance linear algebra operations and an automatic differentiation framework for computing gradients. The project distinguishes itself through its ability to run machine learning directly in web environments, supporting both client-side inference and browser-based training. It enables the deployment of Python-based models by converting Keras or TensorFlow models into compatible formats

Este proyecto es una implementación en TensorFlow de un framework de traducción de imagen a imagen basado en redes generativas adversarias condicionales (cGAN). Proporciona las herramientas para entrenar modelos que mapean imágenes de entrada a imágenes de salida basadas en patrones visuales aprendidos, así como un servidor para procesar solicitudes de traducción de imágenes y servir puntos de control (checkpoints) de modelos entrenados a clientes web. El framework incluye un sistema para convertir pesos de modelos entrenados en un formato portátil para inferencia basada en navegador. También cuenta con un proceso de validación que genera informes comparativos analizando conjuntos de imágenes de entrada, salida y destino utilizando un punto de control entrenado. El código base cubre todo el pipeline desde la ingeniería de datos, incluyendo la preparación de conjuntos de datos de imágenes y el pipelining basado en pares, hasta el entrenamiento adversarial condicional. Admite transformaciones visuales específicas como la colorización de imágenes en escala de grises y la generación de imágenes sintéticas.

Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.

Tengine es una suite de herramientas y un motor de ejecución ligero diseñado para ejecutar modelos de aprendizaje profundo en hardware embebido con recursos limitados. Proporciona una infraestructura para convertir modelos de redes neuronales, cuantizar pesos, optimizar kernels de operadores y realizar benchmarking del rendimiento de inferencia a través de unidades CPU, GPU y NPU. El proyecto cuenta con un optimizador de kernels de operadores automatizado para generar kernels de alta eficiencia y una herramienta de cuantización de modelos que reduce la precisión a formatos enteros para disminuir el uso de memoria. Incluye una herramienta dedicada de benchmarking de hardware para evaluar la velocidad de ejecución y la eficiencia de arquitecturas de redes neuronales en dispositivos embebidos. El sistema cubre la conversión de formatos de modelos a una representación interna agnóstica del hardware, despacho modular de operadores y ejecución multi-backend. Estas capacidades permiten la transformación de definiciones externas de redes neuronales en un formato de ejecución compatible para despliegue embebido.

Este proyecto es un framework de servicio de modelos de PyTorch diseñado para desplegar y escalar modelos de machine learning en producción a través de endpoints de red escalables. Funciona como un servidor de inferencia de alto rendimiento, optimizador y gestor del ciclo de vida del modelo que maneja la carga de modelos, el procesamiento por lotes (batching) de solicitudes y la aceleración por hardware. El sistema se distingue por sus capacidades avanzadas de orquestación y optimización, como el encadenamiento de múltiples modelos en flujos de trabajo secuenciales mediante grafos de ejecución y el uso de procesamiento por lotes dinámico para mejorar el rendimiento y la latencia. Proporciona soporte especializado para IA generativa y modelos de lenguaje de gran tamaño (LLM) mediante procesamiento por lotes continuo y paralelismo de tensores. Las áreas de capacidad incluyen la gestión de recursos de GPU en hardware diverso como NVIDIA, AMD y Apple Silicon, así como una gestión integral del ciclo de vida del modelo para registro, versionado y escalado de trabajadores. También integra herramientas de observabilidad para rastrear la salud del sistema y el rendimiento del modelo mediante métricas compatibles con Prometheus. El servidor se gestiona a través de una interfaz de línea de comandos utilizada para el control del ciclo de vida y la configuración de parámetros de tiempo de ejecución.

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu