14 dépôts
Conversion of various TensorFlow model formats into optimized representations for inference.
Distinct from Model Conversion: Specifically targets TensorFlow models rather than generic model conversion.
Explore 14 awesome GitHub repositories matching devops & infrastructure · TensorFlow. Refine with filters or upvote what's useful.
TensorFlow.js is a JavaScript machine learning library used for training and deploying models in web browsers and server-side environments. It functions as a browser-based model trainer, a WebAssembly inference engine, and a WebGPU accelerated tensor library for low-level linear algebra. The project also includes a model converter to transform Python-based models into optimized formats for JavaScript execution. The library distinguishes itself through a pluggable backend architecture that allows mathematical operations to be executed via CPU, WebGL, or WebGPU. It supports the conversion of Py
Provides a WebAssembly runtime for executing model inference with near-native CPU performance in browsers.
This project is a collection of pre-trained machine learning models and conversion pipelines designed for running inference directly in the browser using TensorFlow.js. It provides a library of ready-to-use models for computer vision, audio classification, and natural language processing tasks. The suite includes specialized tools for transforming Python-based Keras models into JSON formats compatible with web environments. It enables the deployment of these models by fetching architectures and weight shards via HTTP for client-side execution. The project covers a broad range of capabilities
Converts and loads pretrained Python models into a browser for real time inference and evaluation.
WasmEdge is an extensible WebAssembly runtime that executes WebAssembly bytecode in a secure sandbox for cloud, edge, and embedded applications. It functions as a multi-language compiler, compiling applications written in Rust, JavaScript, Go, and Python into WebAssembly bytecode for sandboxed execution, and as a server-side JavaScript runtime that runs JavaScript programs with ES6 modules, NPM packages, and Node.js-compatible APIs. The runtime also serves as an AI inference runtime, executing AI models from JavaScript using WASI-NN plug-ins for inference tasks on personal devices and edge har
Runs TensorFlow and TensorFlow Lite model inference using a dedicated plug-in and Rust SDK for tensor input and output.
OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and
Transforms models from various TensorFlow formats into an optimized representation for inference.
tflearn is a deep learning framework and high-level API wrapper for TensorFlow. It provides a toolkit for designing neural network architectures and a system for executing training loops and optimizing model weights across CPUs and GPUs. The project simplifies the process of building and training models through a modular interface and a high-level API for prototyping. It includes specialized utilities for deep learning visualization, allowing for the generation of graphical diagrams to analyze network structures, weights, gradients, and activations. The framework covers a broad range of capa
Connects high-level layers and trainers with low-level computational graphs to build complex machine learning workflows.
tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det
Converts TensorFlow model formats into optimized representations for C++ inference execution.
yolotf est un framework de détection d'objets qui fournit des outils pour convertir les configurations et les poids de modèles Darknet en graphes TensorFlow. Il inclut un entraîneur de modèles TensorFlow pour entraîner de nouveaux modèles de détection ou affiner des poids existants en utilisant des jeux de données personnalisés. Le projet propose un exportateur de modèles mobiles qui sérialise les définitions de graphes et les métadonnées dans des fichiers protobuf pour un déploiement sur des appareils mobiles. Le framework prend en charge l'inférence de détection d'objets sur des images et des vidéos pour identifier des objets et exporter les coordonnées des boîtes englobantes. Il gère l'état du modèle via la traduction de mappage de poids et l'entraînement basé sur des points de contrôle pour permettre la restauration des poids et des états de l'optimiseur.
Translates model configurations and weights from Darknet format into TensorFlow graphs.
Darkflow est un framework de détection d'objets et un pipeline de vision par ordinateur qui fournit une interface programmatique pour effectuer de l'analyse d'image et de l'identification d'objets en temps réel. Il fonctionne comme un outil pour charger des poids, affiner des modèles et exécuter des inférences sur des images statiques et des flux vidéo. Le projet sert de convertisseur qui traduit les configurations et les poids Darknet en graphes TensorFlow pour permettre le réentraînement et le déploiement. Il inclut un exportateur de modèles qui enregistre les graphes entraînés dans des fichiers protobuf portables pour une utilisation sur des appareils mobiles et natifs. Le système couvre des capacités pour l'entraînement et l'ajustement de modèles de détection sur des jeux de données personnalisés, avec des points de contrôle de progression pour la reprise de l'entraînement. Il fournit également des outils pour la traduction de mappage de poids et le traitement de données d'image brutes via des opérations tensorielles pour produire des boîtes englobantes et des scores de confiance.
Translates Darknet configurations and weights into TensorFlow graphs for retraining and deployment.
MMdnn est un convertisseur et migrateur de modèles de deep learning conçu pour traduire les architectures et les poids de réseaux de neurones entre différents frameworks tels que TensorFlow, PyTorch et Keras. Il utilise une représentation intermédiaire standardisée pour découpler les structures de réseau et les poids des implémentations spécifiques aux frameworks, permettant ainsi la transformation de modèles pré-entraînés dans différents environnements. Le projet se distingue par la génération de code de reconstruction Python natif à partir de ses représentations intermédiaires, permettant aux modèles d'être reconstruits et affinés dans les environnements cibles. Il inclut également des outils spécialisés pour le déploiement de modèles mobiles, transformant les modèles de deep learning en formats compatibles avec les mobiles comme CoreML et TensorFlow Lite. Le système offre une suite plus large de fonctionnalités, notamment la visualisation de l'architecture des réseaux de neurones pour inspecter les structures de graphes et les métadonnées, ainsi que l'exécution d'inférence de modèles pour valider que les modèles convertis conservent leur comportement et leur précision d'origine. Des utilitaires supplémentaires gèrent la récupération de poids pré-entraînés depuis des dépôts distants et l'assemblage de points de contrôle de modèles déployables.
Runs inference tests on converted models to verify that the migration preserved the original behavior and accuracy.
This project is a comprehensive instructional resource and course for building neural networks using PyTorch. It covers the fundamental building blocks of deep learning, including tensor manipulation, automatic differentiation, and the construction of modular neural network components. The repository serves as a technical guide for several specialized domains. It provides implementation details for computer vision tasks such as image classification, object detection, and semantic segmentation, as well as natural language processing workflows involving transformers, recurrent networks, and gen
Provides workflows for converting PyTorch models to standardized formats like ONNX for cross-framework deployment.
This project is a PyTorch implementation of the YOLOv4 object detection framework. It provides a system for training and deploying neural networks that identify and locate multiple objects within images and video streams. The framework includes tools for converting trained weights into universal formats and hardware-specific optimized engines, specifically supporting ONNX and TensorRT. It features a TensorRT inference optimizer to reduce latency and increase throughput, as well as a model architecture compatible with NVIDIA DeepStream streaming analytics pipelines. The system covers model tr
Includes utilities for translating model architectures into compatible representations for TensorFlow deployment.
Ce projet est un framework d'apprentissage contrastif auto-supervisé conçu pour entraîner des modèles d'apprentissage profond à apprendre des représentations visuelles à partir d'images sans utiliser d'étiquettes fournies par l'homme. Il fournit un système pour développer des modèles de représentation visuelle pré-entraînés qui peuvent être adaptés pour des tâches de vision par ordinateur en aval. Le framework inclut des outils pour la classification d'images semi-supervisée, qui combine de grands ensembles de données non étiquetés avec de petits ensembles étiquetés pour améliorer la précision. Il dispose également d'un outil d'évaluation par sonde linéaire pour évaluer la qualité des caractéristiques d'image apprises en entraînant un classificateur linéaire simple sur des représentations gelées. La base de code couvre l'entraînement par apprentissage profond distribué et l'accélération matérielle pour gérer de grandes tailles de batch, ainsi que des primitives d'optimisation telles que la planification du taux d'apprentissage par décroissance cosinus et la régularisation par décroissance de poids. Elle fournit également des utilitaires pour la gestion des modèles, y compris la conversion de checkpoints pré-entraînés entre différents formats de framework d'apprentissage profond et des outils pour le déploiement de modèles. L'implémentation est fournie sous forme de collection de Jupyter Notebooks.
Provides utilities to translate pretrained model checkpoints between different deep learning framework formats.
ruvector est une base de données vectorielle et un moteur de graphes basé sur Rust, conçu pour l'inférence locale et la recherche de plus proches voisins. Il utilise une architecture de base de données de graphes vectoriels et un index de réseau de neurones sur graphe pour affiner les résultats de recherche via une attention structurelle. Le système intègre un simulateur de circuit quantique accéléré par le matériel pour exécuter des simulations d'état vectoriel et des modèles de recherche complexes, ainsi qu'un moteur d'inférence WebAssembly pour exécuter la recherche vectorielle et l'exécution de modèles directement dans les navigateurs web. Le projet utilise un format de conteneur cognitif qui regroupe modèles, données et un micro-noyau amorçable dans un seul binaire pour le déploiement. Il propose des outils de configuration de modèles spécialisés, incluant une méthode de consolidation des poids pour prévenir l'oubli catastrophique et un mécanisme d'adaptateur léger pour une adaptation instantanée des poids. Le système couvre un large éventail de fonctionnalités, notamment la recherche vectorielle accélérée par le matériel, l'interrogation de relations de graphes et l'analyse de documents scientifiques pour l'extraction LaTeX et MathML. Il fournit également un chaînage de preuves cryptographiques pour vérifier les mutations de données, une synchronisation des métadonnées basée sur Raft pour la haute disponibilité, et une compression de données à résolution étagée pour gérer les coûts de stockage.
Ships a minimal WebAssembly runtime for executing vector search and model inference in browsers.
IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis
Transforms TensorFlow modules and SavedModel files into optimized representations for inference.