14 repositorios
Conversion of various TensorFlow model formats into optimized representations for inference.
Distinct from Model Conversion: Specifically targets TensorFlow models rather than generic model conversion.
Explore 14 awesome GitHub repositories matching devops & infrastructure · TensorFlow. Refine with filters or upvote what's useful.
TensorFlow.js is a JavaScript machine learning library used for training and deploying models in web browsers and server-side environments. It functions as a browser-based model trainer, a WebAssembly inference engine, and a WebGPU accelerated tensor library for low-level linear algebra. The project also includes a model converter to transform Python-based models into optimized formats for JavaScript execution. The library distinguishes itself through a pluggable backend architecture that allows mathematical operations to be executed via CPU, WebGL, or WebGPU. It supports the conversion of Py
Provides a WebAssembly runtime for executing model inference with near-native CPU performance in browsers.
This project is a collection of pre-trained machine learning models and conversion pipelines designed for running inference directly in the browser using TensorFlow.js. It provides a library of ready-to-use models for computer vision, audio classification, and natural language processing tasks. The suite includes specialized tools for transforming Python-based Keras models into JSON formats compatible with web environments. It enables the deployment of these models by fetching architectures and weight shards via HTTP for client-side execution. The project covers a broad range of capabilities
Converts and loads pretrained Python models into a browser for real time inference and evaluation.
WasmEdge is an extensible WebAssembly runtime that executes WebAssembly bytecode in a secure sandbox for cloud, edge, and embedded applications. It functions as a multi-language compiler, compiling applications written in Rust, JavaScript, Go, and Python into WebAssembly bytecode for sandboxed execution, and as a server-side JavaScript runtime that runs JavaScript programs with ES6 modules, NPM packages, and Node.js-compatible APIs. The runtime also serves as an AI inference runtime, executing AI models from JavaScript using WASI-NN plug-ins for inference tasks on personal devices and edge har
Runs TensorFlow and TensorFlow Lite model inference using a dedicated plug-in and Rust SDK for tensor input and output.
OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and
Transforms models from various TensorFlow formats into an optimized representation for inference.
tflearn is a deep learning framework and high-level API wrapper for TensorFlow. It provides a toolkit for designing neural network architectures and a system for executing training loops and optimizing model weights across CPUs and GPUs. The project simplifies the process of building and training models through a modular interface and a high-level API for prototyping. It includes specialized utilities for deep learning visualization, allowing for the generation of graphical diagrams to analyze network structures, weights, gradients, and activations. The framework covers a broad range of capa
Connects high-level layers and trainers with low-level computational graphs to build complex machine learning workflows.
tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det
Converts TensorFlow model formats into optimized representations for C++ inference execution.
yolotf es un framework de detección de objetos que proporciona herramientas para convertir configuraciones y pesos de modelos de Darknet a grafos de TensorFlow. Incluye un entrenador de modelos de TensorFlow para entrenar nuevos modelos de detección o ajustar pesos existentes utilizando datasets personalizados. El proyecto cuenta con un exportador de modelos móviles que serializa definiciones de grafos y metadatos en archivos protobuf para su despliegue en dispositivos móviles. El framework soporta inferencia de detección de objetos en imágenes y video para identificar objetos y exportar coordenadas de cajas delimitadoras. Gestiona el estado del modelo mediante la traducción de mapeo de pesos y entrenamiento basado en puntos de control para permitir la restauración de pesos y estados del optimizador.
Translates model configurations and weights from Darknet format into TensorFlow graphs.
Darkflow es un framework de detección de objetos y pipeline de visión artificial que proporciona una interfaz programática para realizar análisis de imágenes y detección de objetos en tiempo real. Funciona como una herramienta para cargar pesos, ajustar modelos y ejecutar inferencia tanto en imágenes estáticas como en feeds de video. El proyecto sirve como un convertidor que traduce configuraciones y pesos de Darknet a grafos de TensorFlow para permitir el reentrenamiento y el despliegue. Incluye un exportador de modelos que guarda los grafos entrenados en archivos protobuf portátiles para su uso en dispositivos móviles y nativos. El sistema cubre capacidades para entrenar y ajustar modelos de detección en datasets personalizados, con puntos de control de progreso para la recuperación del entrenamiento. También proporciona herramientas para la traducción de mapeo de pesos y el procesamiento de datos de imagen crudos a través de operaciones de tensores para producir cajas delimitadoras y puntuaciones de confianza.
Translates Darknet configurations and weights into TensorFlow graphs for retraining and deployment.
MMdnn es un conversor y migrador de modelos de deep learning diseñado para traducir arquitecturas y pesos de redes neuronales entre diferentes frameworks como TensorFlow, PyTorch y Keras. Utiliza una representación intermedia estandarizada para desacoplar las estructuras de red y los pesos de las implementaciones específicas de cada framework, permitiendo la transformación de modelos preentrenados entre distintos entornos. El proyecto destaca por generar código de reconstrucción nativo en Python a partir de sus representaciones intermedias, lo que permite reconstruir y ajustar modelos en los entornos de destino. También incluye herramientas especializadas para el despliegue de modelos en dispositivos móviles, transformando modelos de deep learning a formatos compatibles como CoreML y TensorFlow Lite. El sistema ofrece un conjunto más amplio de capacidades, incluyendo la visualización de arquitecturas de redes neuronales para inspeccionar estructuras de grafos y metadatos, así como la ejecución de inferencia para validar que los modelos convertidos mantengan su comportamiento y precisión originales. Otras utilidades gestionan la recuperación de pesos preentrenados desde repositorios remotos y el ensamblaje de checkpoints de modelos desplegables.
Runs inference tests on converted models to verify that the migration preserved the original behavior and accuracy.
Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.
Provides workflows for converting PyTorch models to standardized formats like ONNX for cross-framework deployment.
Este proyecto es una implementación en PyTorch del framework de detección de objetos YOLOv4. Proporciona un sistema para entrenar y desplegar redes neuronales que identifican y localizan múltiples objetos dentro de imágenes y flujos de video. El framework incluye herramientas para convertir pesos entrenados en formatos universales y motores optimizados específicos para hardware, soportando específicamente ONNX y TensorRT. Cuenta con un optimizador de inferencia TensorRT para reducir la latencia y aumentar el rendimiento, así como una arquitectura de modelo compatible con los pipelines de análisis de streaming NVIDIA DeepStream. El sistema cubre el entrenamiento de modelos con aumento de datos tipo mosaico y soporta detección de objetos en tiempo real a través de múltiples motores de inferencia. Proporciona utilidades para la conversión de modelos a TensorFlow y soporta configuraciones de batch tanto estáticas como dinámicas para el despliegue.
Includes utilities for translating model architectures into compatible representations for TensorFlow deployment.
Este proyecto es un framework de aprendizaje contrastivo auto-supervisado diseñado para entrenar modelos de aprendizaje profundo para aprender representaciones visuales a partir de imágenes sin utilizar etiquetas proporcionadas por humanos. Proporciona un sistema para desarrollar modelos de representación visual preentrenados que pueden adaptarse para tareas de visión artificial posteriores. El framework incluye herramientas para la clasificación de imágenes semi-supervisada, que combina grandes conjuntos de datos sin etiquetar con pequeños conjuntos etiquetados para mejorar la precisión. También cuenta con una herramienta de evaluación de sonda lineal (linear probe) para evaluar la calidad de las características de imagen aprendidas entrenando un clasificador lineal simple sobre representaciones congeladas. El código base cubre el entrenamiento de aprendizaje profundo distribuido y la aceleración por hardware para manejar grandes tamaños de lote, junto con primitivas de optimización como la programación de tasa de aprendizaje de decaimiento de coseno y regularización de decaimiento de peso. También proporciona utilidades para la gestión de modelos, incluyendo la conversión de checkpoints preentrenados entre diferentes formatos de frameworks de aprendizaje profundo y herramientas para el despliegue de modelos. La implementación se proporciona como una colección de Jupyter Notebooks.
Provides utilities to translate pretrained model checkpoints between different deep learning framework formats.
ruvector es un almacén de vectores y base de datos de grafos basado en Rust, diseñado para inferencia local y búsquedas de vecinos más cercanos. Utiliza una arquitectura de base de datos de grafos vectoriales y un índice de red neuronal de grafos para refinar los rankings de búsqueda mediante atención estructural. El sistema incluye un simulador de circuitos cuánticos acelerado por hardware para ejecutar simulaciones de vectores de estado y patrones de búsqueda complejos, junto con un motor de inferencia WebAssembly para ejecutar búsquedas vectoriales y modelos directamente en navegadores web. El proyecto emplea un formato de contenedor cognitivo que agrupa modelos, datos y un microkernel arrancable en un único binario para su despliegue. Incluye herramientas especializadas de configuración de modelos, como un método de consolidación de pesos para prevenir el olvido catastrófico y un mecanismo de adaptadores ligeros para la adaptación instantánea de pesos. El sistema cubre una amplia superficie de capacidades, incluyendo búsqueda vectorial acelerada por hardware, consultas de relaciones en grafos y análisis de documentos científicos para la extracción de LaTeX y MathML. También proporciona encadenamiento de testigos criptográficos para verificar mutaciones de datos, sincronización de metadatos basada en Raft para alta disponibilidad y compresión de datos de resolución escalonada para gestionar los costes de almacenamiento.
Ships a minimal WebAssembly runtime for executing vector search and model inference in browsers.
IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis
Transforms TensorFlow modules and SavedModel files into optimized representations for inference.