14 repository-uri
Conversion of various TensorFlow model formats into optimized representations for inference.
Distinct from Model Conversion: Specifically targets TensorFlow models rather than generic model conversion.
Explore 14 awesome GitHub repositories matching devops & infrastructure · TensorFlow. Refine with filters or upvote what's useful.
TensorFlow.js is a JavaScript machine learning library used for training and deploying models in web browsers and server-side environments. It functions as a browser-based model trainer, a WebAssembly inference engine, and a WebGPU accelerated tensor library for low-level linear algebra. The project also includes a model converter to transform Python-based models into optimized formats for JavaScript execution. The library distinguishes itself through a pluggable backend architecture that allows mathematical operations to be executed via CPU, WebGL, or WebGPU. It supports the conversion of Py
Provides a WebAssembly runtime for executing model inference with near-native CPU performance in browsers.
This project is a collection of pre-trained machine learning models and conversion pipelines designed for running inference directly in the browser using TensorFlow.js. It provides a library of ready-to-use models for computer vision, audio classification, and natural language processing tasks. The suite includes specialized tools for transforming Python-based Keras models into JSON formats compatible with web environments. It enables the deployment of these models by fetching architectures and weight shards via HTTP for client-side execution. The project covers a broad range of capabilities
Converts and loads pretrained Python models into a browser for real time inference and evaluation.
WasmEdge is an extensible WebAssembly runtime that executes WebAssembly bytecode in a secure sandbox for cloud, edge, and embedded applications. It functions as a multi-language compiler, compiling applications written in Rust, JavaScript, Go, and Python into WebAssembly bytecode for sandboxed execution, and as a server-side JavaScript runtime that runs JavaScript programs with ES6 modules, NPM packages, and Node.js-compatible APIs. The runtime also serves as an AI inference runtime, executing AI models from JavaScript using WASI-NN plug-ins for inference tasks on personal devices and edge har
Runs TensorFlow and TensorFlow Lite model inference using a dedicated plug-in and Rust SDK for tensor input and output.
OpenVINO is an AI inference engine and model serving platform designed to execute optimized deep learning models across CPUs, GPUs, and NPUs through a unified API. It includes a model optimization toolkit for converting, quantizing, and compressing models from various frameworks, alongside a specialized generative AI runtime for large language models. The project distinguishes itself through a plugin-based hardware acceleration layer that maps neural network operations to vendor-specific drivers. It features advanced execution mechanisms such as continuous batching, speculative decoding, and
Transforms models from various TensorFlow formats into an optimized representation for inference.
tflearn is a deep learning framework and high-level API wrapper for TensorFlow. It provides a toolkit for designing neural network architectures and a system for executing training loops and optimizing model weights across CPUs and GPUs. The project simplifies the process of building and training models through a modular interface and a high-level API for prototyping. It includes specialized utilities for deep learning visualization, allowing for the generation of graphical diagrams to analyze network structures, weights, gradients, and activations. The framework covers a broad range of capa
Connects high-level layers and trainers with low-level computational graphs to build complex machine learning workflows.
tensorrtx is a computer vision inference engine and model implementation library designed for graphics processor acceleration. It provides a framework for optimizing deep learning models through a GPU inference optimizer, a deep learning model converter for transforming weights from frameworks like TensorFlow and PyTorch, and a custom plugin library to implement operations not natively supported by the TensorRT API. The project distinguishes itself through a comprehensive collection of pre-defined network implementations, ranging from various YOLO versions and DETR transformers for object det
Converts TensorFlow model formats into optimized representations for C++ inference execution.
yolotf este un framework de detecție a obiectelor care oferă instrumente pentru convertirea configurațiilor și ponderilor modelelor Darknet în grafuri TensorFlow. Include un antrenor de modele TensorFlow pentru antrenarea de noi modele de detecție sau fine-tuning-ul ponderilor existente folosind seturi de date personalizate. Proiectul dispune de un exportator de modele mobile care serializează definițiile grafurilor și metadatele în fișiere protobuf pentru deployment pe dispozitive mobile. Framework-ul suportă inferența de detecție a obiectelor pe imagini și video pentru a identifica obiecte și a exporta coordonatele bounding box-urilor. Gestionează starea modelului prin traducerea mapării ponderilor și antrenare bazată pe checkpoint-uri pentru a permite restaurarea ponderilor și a stărilor optimizatorului.
Translates model configurations and weights from Darknet format into TensorFlow graphs.
Darkflow este un framework de detecție a obiectelor și un pipeline de computer vision care oferă o interfață programatică pentru efectuarea analizei de imagini în timp real și identificarea obiectelor. Acesta funcționează ca un instrument pentru încărcarea ponderilor (weights), fine-tuning-ul modelelor și executarea inferenței atât pe imagini statice, cât și pe fluxuri video. Proiectul servește drept convertor care traduce configurațiile și ponderile Darknet în grafuri TensorFlow pentru a permite reantrenarea și deployment-ul. Include un exportator de modele care salvează grafurile antrenate în fișiere protobuf portabile pentru utilizare pe dispozitive mobile și native. Sistemul acoperă capabilități pentru antrenarea și fine-tuning-ul modelelor de detecție pe seturi de date personalizate, oferind puncte de control (checkpoints) pentru recuperarea antrenamentului. De asemenea, oferă instrumente pentru traducerea mapării ponderilor și procesarea datelor brute de imagine prin operații tensoriale pentru a produce bounding boxes și scoruri de încredere.
Translates Darknet configurations and weights into TensorFlow graphs for retraining and deployment.
MMdnn este un convertor și migrator de modele de deep learning conceput pentru a traduce arhitecturi și ponderi de rețele neuronale între diferite framework-uri, precum TensorFlow, PyTorch și Keras. Acesta utilizează o reprezentare intermediară standardizată pentru a decupla structurile rețelei și ponderile de implementările specifice ale framework-urilor, permițând transformarea modelelor pre-antrenate între medii diferite. Proiectul se distinge prin generarea de cod Python nativ de reconstrucție din reprezentările sale intermediare, permițând modelelor să fie reconstruite și ajustate (fine-tuned) în mediile țintă. Include, de asemenea, instrumente specializate pentru implementarea modelelor pe dispozitive mobile, transformând modelele de deep learning în formate compatibile precum CoreML și TensorFlow Lite. Sistemul oferă o suită mai largă de capabilități, inclusiv vizualizarea arhitecturii rețelelor neuronale pentru inspectarea structurilor grafice și a metadatelor, precum și execuția de inferență pentru a valida faptul că modelele convertite își păstrează comportamentul și acuratețea originală. Utilitare suplimentare gestionează preluarea ponderilor pre-antrenate din repository-uri externe și asamblarea checkpoint-urilor de modele gata de implementare.
Runs inference tests on converted models to verify that the migration preserved the original behavior and accuracy.
Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.
Provides workflows for converting PyTorch models to standardized formats like ONNX for cross-framework deployment.
Acest proiect este o implementare PyTorch a framework-ului de detecție a obiectelor YOLOv4. Acesta oferă un sistem pentru antrenarea și implementarea rețelelor neuronale care identifică și localizează obiecte multiple în imagini și fluxuri video. Framework-ul include instrumente pentru conversia ponderilor antrenate în formate universale și motoare optimizate specifice hardware-ului, suportând în mod specific ONNX și TensorRT. Dispune de un optimizator de inferență TensorRT pentru a reduce latența și a crește throughput-ul, precum și o arhitectură de model compatibilă cu pipeline-urile de analiză streaming NVIDIA DeepStream. Sistemul acoperă antrenarea modelelor cu augmentarea datelor de tip mosaic și suportă detecția obiectelor în timp real pe mai multe motoare de inferență. Oferă utilitare pentru conversia modelelor în TensorFlow și suportă configurații de batch statice și dinamice pentru deployment.
Includes utilities for translating model architectures into compatible representations for TensorFlow deployment.
Acest proiect este un framework de învățare contrastivă auto-supervizată conceput pentru a antrena modele de deep learning să învețe reprezentări vizuale din imagini fără a utiliza etichete furnizate de oameni. Oferă un sistem pentru dezvoltarea modelelor de reprezentare vizuală pre-antrenate care pot fi adaptate pentru sarcini de computer vision downstream. Framework-ul include instrumente pentru clasificarea imaginilor semi-supervizată, care combină seturi mari de date neetichetate cu seturi mici etichetate pentru a îmbunătăți acuratețea. Dispune, de asemenea, de un instrument de evaluare linear probe pentru a evalua calitatea funcționalităților vizuale învățate prin antrenarea unui clasificator linear simplu peste reprezentările înghețate. Codul sursă acoperă antrenarea distribuită de deep learning și accelerarea hardware pentru a gestiona dimensiuni mari de batch-uri, alături de primitive de optimizare precum programarea ratei de învățare cosine-decay și regularizarea weight-decay. Oferă, de asemenea, utilitare pentru gestionarea modelelor, inclusiv conversia checkpoint-urilor pre-antrenate între diferite formate de framework-uri de deep learning și instrumente pentru implementarea modelelor. Implementarea este furnizată ca o colecție de Jupyter Notebooks.
Provides utilities to translate pretrained model checkpoints between different deep learning framework formats.
ruvector este un vector store și o bază de date graf bazată pe Rust, concepută pentru inferență locală și căutări de tip nearest neighbor. Utilizează o arhitectură de bază de date graf vectorială și un index de rețele neuronale grafice pentru a rafina clasamentele de căutare prin atenție structurală. Sistemul include un simulator de circuite cuantice accelerat hardware pentru execuția simulărilor de tip state-vector și a modelelor complexe de căutare, alături de un motor de inferență WebAssembly pentru rularea căutărilor vectoriale și execuția modelelor direct în browserele web. Proiectul folosește un format de container cognitiv care grupează modelele, datele și un microkernel bootabil într-un singur binar pentru deployment. Acesta dispune de instrumente specializate de configurare a modelelor, inclusiv o metodă de consolidare a ponderilor pentru a preveni uitarea catastrofală și un mecanism de adaptare ușor pentru ajustarea instantanee a ponderilor. Sistemul acoperă o gamă largă de capabilități, inclusiv căutarea vectorială accelerată hardware, interogarea relațiilor grafice și parsarea documentelor științifice pentru extragerea LaTeX și MathML. De asemenea, oferă înlănțuire de dovezi criptografice pentru verificarea modificărilor de date, sincronizarea metadatelor bazată pe Raft pentru disponibilitate ridicată și compresia datelor cu rezoluție pe niveluri pentru gestionarea costurilor de stocare.
Ships a minimal WebAssembly runtime for executing vector search and model inference in browsers.
IREE is an MLIR-based compiler toolchain and runtime designed to translate machine learning models from various frameworks into optimized binaries for execution across diverse hardware targets. It provides a unified pipeline to ingest models from PyTorch, TensorFlow, JAX, and ONNX, lowering them into a common intermediate representation for deployment on CPUs, GPUs, and bare-metal embedded systems. The project distinguishes itself through a bytecode virtual machine and a hardware abstraction layer that decouple high-level model logic from specific hardware instruction sets. It supports sophis
Transforms TensorFlow modules and SavedModel files into optimized representations for inference.