Awesome GitHub RepositoriesGeneration Speed Optimizers

Guidance is a control framework and generation orchestrator for large language models. It provides a programming layer to steer model outputs through structured templates, schema enforcement, and logical flow management. The framework distinguishes itself by interleaving model generation with local code execution, enabling the use of loops and conditional branching within a single session. It employs grammar-based token constraints and regular expressions to force models to sample only from tokens that satisfy a specific structural format, ensuring strict adherence to predefined data models.

This project is a systematic framework for English language acquisition that applies structured workflows and cognitive strategies to build linguistic proficiency. It focuses on the construction of a linguistic knowledge base, enabling learners to master vocabulary and grammar through methodical training. The methodology is distinguished by its use of computer science concepts, such as mental-model-based learning and memory buffers, to organize progression. It emphasizes a cognitive-translation bypass to develop target language thinking, reducing mental latency by processing information direc

StreamDiffusion is an interactive generative AI framework and inference engine designed for the low-latency delivery of image and video streams. It provides a real-time Stable Diffusion pipeline for text-to-image and image-to-image generation, enabling the creation of continuous generative image streams with minimized computational delay. The framework optimizes throughput using a pre-computed cache engine and residual-based guidance approximation to reduce the number of required model passes. It further manages GPU load through similarity-based frame skipping, which avoids redundant computat

This project is a framework for training and sampling generative models designed to produce high-quality images in few steps. It provides implementations for image generation models that transform random noise into structured visual data through an optimized sampling process. The system specializes in accelerating image generation through consistency distillation and consistency training. It includes tools to transform pre-trained diffusion models into faster versions by distilling knowledge from a teacher model into a student model, as well as methods to train consistency models from scratch

Mace 是一个移动端深度学习推理框架和硬件加速引擎。它作为一个运行时环境，用于在移动设备上执行神经网络模型，将计算分配到 CPU、GPU 和 NPU 上。 该项目包括一个跨平台模型转换器，用于将来自各种行业格式的预训练神经网络转换为移动端优化的表示形式。它还提供了一个神经网络混淆器，将模型权重转换为源代码，以保护知识产权免受逆向工程。 该框架通过优化内存分配和调整芯片功耗设置来管理设备端资源。它还通过数学算法优化和计算拆分来解决执行性能问题，以保持界面响应性。

LightGlue 是一个深度学习框架，专为图像对之间的局部特征匹配和高速对应估计而设计。它作为一个计算机视觉匹配模型，用于识别不同视角下的对应关键点。 该系统利用自适应神经网络架构，根据输入的图像对动态修剪自身的深度和宽度，从而优化推理速度。这种方法采用 Transformer 风格的注意力机制和跨图像注意力来计算特征描述符之间的相关性。 匹配过程包括迭代细化循环和动态提前停止机制，一旦达到置信度阈值即停止计算。这些功能支持更广泛的计算机视觉流水线，用于实时图像对齐和神经网络推理优化。

这是一个关于使用 PyTorch 构建神经网络的综合教学资源和课程。它涵盖了深度学习的基本构建块，包括张量操作、自动微分以及模块化神经网络组件的构建。 该仓库是多个专业领域的参考指南。它提供了计算机视觉任务（如图像分类、目标检测和语义分割）的实现细节，以及涉及 Transformer、循环网络和生成模型的自然语言处理工作流。此外，它还包括生成式 AI 的参考资料，专门关注通过扩散模型和对抗网络进行图像合成。 材料延伸至模型优化和部署流水线。它涵盖了通过量化和将模型导出为 ONNX 和 TensorRT 等格式来减小模型大小并提高推理速度的技术。其他能力领域包括用于并行加载的数据工程、使用自定义指标的模型评估，以及开源大语言模型的部署。 该项目主要以一系列 Jupyter Notebook 的形式提供。

GhostNet 提供了一套高效的 AI 模型架构和神经网络设计模式，旨在降低计算和内存开销。它作为计算机视觉骨干网络和轻量级视觉 Transformer，优化了预测准确性与推理速度之间的平衡。 该项目专注于降低移动设备和边缘硬件上的资源消耗。它通过使用轻量级视觉 Transformer 实现和最小化参数总量的架构来实现这一目标。 该代码库涵盖了一系列推理优化功能，包括降低计算成本和内存使用。它实现了深度可分离卷积块、线性瓶颈深度卷积和权重绑定 Transformer 块等结构设计模式，以降低推理延迟。

该项目是 PyTorch 深度学习框架技术指南和 API 参考的中文翻译版。它作为一个本地化的知识库和参考资料，使非英语母语者能够访问深度学习文档。 该文档涵盖了 PyTorch 的全面能力，包括神经网络模型开发、自动微分以及后端内核的实现。它提供了关于分布式训练策略、通过 ONNX 和 C++ 等格式进行模型部署以及各种模型优化和量化技术的详细指导。 该项目利用社区驱动的翻译管道和分布式贡献模型来维护版本同步的内容。技术资料使用 Markdown 组织，并通过静态网站生成渲染为可导航的网站。

本项目是一个富有表现力的文本转语音基础模型和语音克隆系统，旨在合成具有情感细微差别和高保真度的人类语音。它作为一个可微调的语音模型，可以使用参考语音样本生成模仿特定人的音频。 该系统通过高性能推理引擎脱颖而出，该引擎利用内存缓存和硬件编译来减少音频生成过程中的延迟。它进一步允许通过在由音频文件和匹配字幕组成的自定义数据集上训练语言模型来提高合成质量。 该框架涵盖了自定义语音克隆、表现力语音合成和语音模型微调的更广泛领域。

OmniGen2 是一个统一的图像生成模型和多模态大语言模型，旨在在单个框架内处理文本到图像生成、图像到图像任务和图像编辑。它作为一个因果语言模型视觉引擎，能够根据文本和视觉的组合输入生成并编辑图像。 该系统具有上下文视觉合成和主题驱动生成功能，允许它从参考图像中提取主题并将其放入新场景中。它还支持基于指令的图像编辑，其中特定对象或样式可以通过自然语言命令进行修改，同时保留图像的其余部分。 该模型的能力扩展到视觉内容分析和推理，能够识别跨文本和视觉组合输入的对象。为了提高输出质量，它采用了一种带有自我修正机制的迭代视觉细化流程。 性能通过动态权重卸载的 VRAM 使用优化以及使用缓存技术的推理速度加速来管理。

MAGI-1 is an autoregressive video generation model designed to synthesize high-resolution video sequences from text prompts and image references. It functions as a generative system for text-to-video, image-to-video, and video-to-video transformations. The model utilizes an autoregressive architecture that treats spatio-temporal patches as a sequence of discrete tokens to maintain temporal motion. It employs a variational autoencoder to compress the spatial and temporal dimensions of video data and uses distillation-based step scaling to allow for inference budget control. The system integra

Paper2Slides is an AI-driven presentation generator and content extractor designed to transform academic papers and scientific documents into structured slides and posters. It utilizes retrieval-augmented generation to distill key data points and identify critical figures while maintaining direct traceability to the original source text. The system functions as an AI slide designer that applies professional themes or custom visual styles defined through natural language. It integrates with external image generation services to produce high-quality visuals and research visualizations for acade