Awesome GitHub RepositoriesLow Precision Inference

TNN 是一个深度学习推理框架，旨在跨移动端、桌面端和服务器硬件执行预训练神经网络。它作为硬件加速运行时和模型压缩工具包，为在不同环境中部署模型提供了统一接口。 该框架包含一个 ONNX 模型转换器，可将来自各种训练框架的模型转换为标准化的内部格式。其特色在于结合了模型压缩工具（包括权重量化和静态代码剪枝）以及一种在非依赖节点之间重用缓冲区的内存管理系统，以减少 RAM 使用。 该系统通过算子融合优化性能以最小化内存访问，并采用平台特定的后端来利用专用处理器和 GPU。它还通过低精度计算和硬件特定调优进一步提高了执行速度。

Chinese-Vicuna 是一个基于 LLaMA 架构的中文大语言模型和指令跟随 AI。它专为中文自然语言理解和生成而设计，利用指令微调模型来跟随跨对话的复杂用户提示。 该项目提供了一个 LoRA 微调框架和量化系统，以实现模型在消费级硬件上的适配和推理。它实现了量化推理以减少 CPU 和 GPU 上的内存使用，并由低级 C++ 实现支持以最大限度地减少系统资源需求。 该系统涵盖了广泛的自然语言处理功能，包括多轮对话管理、多语言翻译和编程代码生成。它还包括用于特定领域训练、模型格式转换以及带有流式文本输出的交互式聊天界面的工具。

oneDNN 是一个深度学习加速库，为神经网络训练和推理提供优化的构建块。它管理跨 CPU 和 GPU 硬件的张量计算，支持执行用于模型训练和神经网络推理优化的高性能原语。 该项目通过硬件特定的内核优化和使用即时编译来针对特定处理器指令集脱颖而出。它支持使用静态和动态量化来执行量化神经网络，以减少内存使用并提高吞吐量。 该库涵盖了广泛的功能，包括卷积、矩阵乘法和循环神经网络执行等深度学习原语。它实现了先进的性能优化，包括操作融合、计算图优化和内存格式管理。通过稳定的 C ABI 和 C++ 包装器提供集成，并支持 SYCL、OpenCL 和外部线性代数库。 该系统包括用于硬件性能分析、原语基准测试和详细执行日志记录的观测工具。

VILA is a vision-language model integration that combines a visual encoder with a large language model to process images and text in a shared space. Its primary purpose is to enable the generation of natural language explanations and detailed text summaries of images and videos based on user prompts. The project utilizes a multi-stage alignment pipeline to synchronize visual and textual embeddings through sequential pretraining and supervised fine-tuning. To support deployment on desktop and edge hardware, it employs quantized low-precision inference to reduce model weights to 4-bit precision