3 Repos
Awesome GitHub RepositoriesHardware-Aware Compilers
Compilers that optimize model representations and fuse graph operations based on the target device backend.
Distinct from Model Compilation Optimizers: Focuses on the target-hardware-aware transformation and fusion process rather than general compilation speed
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Hardware-Aware Compilers. Refine with filters or upvote what's useful.
Awesome Hardware-Aware Compilers GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- aws/amazon-sagemaker-examples
aws/amazon-sagemaker-examples
10,958Auf GitHub ansehenThis repository is a collection of Jupyter notebooks providing reference implementations and templates for building, training, and deploying machine learning models using Amazon SageMaker. It serves as an example library for implementing model architectures and automating the machine learning lifecycle. The library provides practical patterns for machine learning training, data engineering, and model deployment. It includes implementation guides for MLOps, including workflows for model monitoring, lineage tracking, and hyperparameter tuning. The examples cover a broad range of capabilities i
Shows how to optimize deep learning models for specific target hardware to reduce memory and increase speed.
Jupyter Notebookawsdata-sciencedeep-learning - microsoft/ai-system
microsoft/AI-System
4,301Auf GitHub ansehenAI-System ist eine Bildungsressource und ein Toolkit, das für das Erlernen der Hardware- und Software-Grundlagen von Deep-Learning-Systemen konzipiert ist. Es bietet einen Lehrplan und praktische Übungen zum Aufbau von KI-Infrastruktur, die von Low-Level-CUDA-Kernel-Entwicklung bis hin zu High-Level-Systemmanagement reichen. Das Projekt enthält ein Toolkit zur Entwicklung von Tensor-Operationen und zur Optimierung der GPU-Performance durch direkte Hardwareprogrammierung. Zudem bietet es ein Framework für verteiltes Training, das sich auf Ressourcenplanung und Kommunikationsprotokolle konzentriert, um groß angelegte Modelle über mehrere Rechenknoten hinweg zu verwalten. Das System deckt KI-Sicherheitsanalysen zur Identifizierung von Datenschutzschwachstellen und gegnerischen Angriffen ab sowie Performance-Optimierung durch hardwarebewusste Kompilierung, Sparsity-getriebene Kompression und tensorbasierte Berechnungsgraphen. Es bietet zudem Tools zur Verwaltung von KI-Infrastruktur und zur Koordinierung von Bereitstellungsstrategien für High-Performance-Inferenzumgebungen.
Transforms high-level algorithmic descriptions into machine code optimized for specific GPU and TPU architectures.
Python - intel/neural-compressor
intel/neural-compressor
2,585Auf GitHub ansehenNeural Compressor is a deep learning model compression toolkit and AI inference acceleration engine. It functions as an automated model quantization tool and hardware-aware model compiler designed to reduce the memory footprint of neural networks and decrease execution latency. The project provides specialized frameworks for optimizing large language models, utilizing weight-only quantization and hardware-specific kernels to improve the operational efficiency of generative AI workloads. It maps neural network operators to specialized CPU and GPU vector instructions to accelerate model executi
Fuses graph operations and optimizes model representations for specific target device backends.
Pythonauto-tuningawqfp4
