Awesome GitHub RepositoriesModel Format Optimizers

TensorFlow.js is a JavaScript machine learning library and browser-based runtime used to build, train, and execute models. It functions as a WebGL accelerated tensor engine, providing a foundation for high-performance linear algebra operations and an automatic differentiation framework for computing gradients. The project distinguishes itself through its ability to run machine learning directly in web environments, supporting both client-side inference and browser-based training. It enables the deployment of Python-based models by converting Keras or TensorFlow models into compatible formats

This project is a TensorFlow implementation of an image-to-image translation framework based on conditional generative adversarial networks. It provides the tools to train models that map input images to output images based on learned visual patterns, as well as a server for processing image translation requests and serving trained model checkpoints to web clients. The framework includes a system for converting trained model weights into a portable format for browser-based inference. It also features a validation process that generates comparative reports by analyzing input, output, and targe

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

Tengine ist eine Suite von Tools und eine leichtgewichtige Execution-Engine für die Ausführung von Deep-Learning-Modellen auf eingeschränkter Embedded-Hardware. Sie bietet eine Infrastruktur zur Konvertierung neuronaler Netzwerkmodelle, zur Quantisierung von Gewichten, zur Optimierung von Operator-Kernels und zum Benchmarking der Inferenzleistung über CPU-, GPU- und NPU-Einheiten hinweg. Das Projekt zeichnet sich durch einen automatisierten Operator-Kernel-Optimierer zur Generierung hocheffizienter Kernels und ein Modell-Quantisierungstool aus, das die Präzision auf Integer-Formate reduziert, um den Speicherverbrauch zu senken. Es enthält ein dediziertes Hardware-Benchmarking-Tool zur Bewertung der Ausführungsgeschwindigkeit und Effizienz neuronaler Netzwerkarchitekturen auf Embedded-Geräten. Das System deckt die Modellformat-Konvertierung in eine hardware-agnostische interne Repräsentation, modulares Operator-Dispatching und Multi-Backend-Ausführung ab. Diese Funktionen ermöglichen die Transformation externer neuronaler Netzwerkdefinitionen in ein kompatibles Laufzeitformat für das Embedded-Deployment.

Dieses Projekt ist ein PyTorch-Framework für das Model-Serving, das darauf ausgelegt ist, Machine-Learning-Modelle in der Produktion über skalierbare Netzwerk-Endpunkte bereitzustellen. Es fungiert als leistungsstarker Inference-Server, Optimierer und Modell-Lifecycle-Manager, der das Laden von Modellen, Request-Batching und Hardware-Beschleunigung übernimmt. Das System zeichnet sich durch fortschrittliche Orchestrierungs- und Optimierungsfunktionen aus, wie etwa das Verketten mehrerer Modelle zu sequenziellen Workflows mittels Ausführungsgraphen und den Einsatz von Dynamic Batching zur Verbesserung von Durchsatz und Latenz. Es bietet spezialisierte Unterstützung für generative KI und Large Language Models durch Continuous Batching und Tensor-Parallelität. Zu den breiten Funktionsbereichen gehören GPU-Ressourcenmanagement für diverse Hardware wie NVIDIA, AMD und Apple Silicon sowie ein umfassendes Lifecycle-Management für Registrierung, Versionierung und Worker-Skalierung. Zudem integriert es Observability-Tools zur Überwachung des Systemzustands und der Modellleistung über Prometheus-kompatible Metriken. Der Server wird über eine Kommandozeilenschnittstelle verwaltet, die zur Steuerung des Lifecycles und zur Konfiguration von Laufzeitparametern dient.

PocketFlow is an integrated toolkit for deep learning model compression, distributed training, and mobile format optimization. It provides a system for reducing the size and complexity of neural networks to improve inference efficiency, featuring a dedicated engine for knowledge distillation and a mobile model optimizer. The framework differentiates itself through an automated hyperparameter tuning system that uses reinforcement learning and statistical models to determine optimal compression ratios and layer-wise bit allocation. It also includes a distributed training system that utilizes mu