Awesome GitHub RepositoriesC++ Model Interfaces

Intel XPU LLM Acceleration Library is a toolkit designed to accelerate large language model inference and finetuning on Intel CPUs, GPUs, and NPUs. It provides a distributed inference engine for scaling models across multiple accelerators, a multimodal model runtime for vision and speech tasks, and a low-bit model quantization tool for converting weights into INT4, FP8, and GGUF formats. The project features a parameter-efficient finetuning framework that enables model adaptation using QLoRA and DPO on Intel hardware. It distinguishes itself by providing specialized optimizations for Intel XP

ExecuTorch is a lightweight C++ runtime for deploying PyTorch models on mobile, embedded, and edge hardware. It provides an ahead-of-time compilation pipeline that exports, quantizes, and lowers model graphs into compact serialized programs, then executes them through a minimal runtime with hardware acceleration and on-device large language model inference capabilities. The project distinguishes itself through a hardware accelerator delegate system that partitions model subgraphs and offloads computation to specialized backends including NPUs, GPUs, and DSPs from Apple, Arm, Intel, MediaTek,

Este proyecto es una traducción al chino de las guías técnicas y referencias de API para el framework de aprendizaje profundo PyTorch. Sirve como una base de conocimientos localizada y material de referencia para hacer que la documentación de aprendizaje profundo sea accesible para hablantes no angloparlantes. La documentación cubre una gama completa de capacidades de PyTorch, incluyendo el desarrollo de modelos de redes neuronales, diferenciación automática y la implementación de kernels de backend. Proporciona orientación detallada sobre estrategias de entrenamiento distribuido, despliegue de modelos a través de formatos como ONNX y C++, y diversas técnicas de optimización y cuantización de modelos. El proyecto utiliza un pipeline de traducción impulsado por la comunidad y un modelo de contribución distribuido para mantener el contenido sincronizado con las versiones. Los materiales técnicos se organizan utilizando markdown y se renderizan en un sitio web navegable mediante generación de sitios estáticos.