1 个仓库
Awesome GitHub RepositoriesOptimization References
Technical study materials focusing on the theoretical and practical aspects of model efficiency.
Distinct from Efficient LLM Development: Focuses on educational reference material rather than the active process of developing efficient models
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Optimization References. Refine with filters or upvote what's useful.
Awesome Optimization References GitHub Repositories
用 AI 发现最棒的仓库。我们将通过 AI 为您搜索最匹配的仓库。
- afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509在 GitHub 上查看此项目是一个全面的技术课程学习指南和参考，用于学习 Transformer 和大语言模型的架构及训练方法。它作为一个技术概览，用于理解神经网络如何处理数据以及如何使模型行为与特定的性能目标保持一致。 该仓库提供了关于模型开发几个关键领域的专门指南。这包括关于 Transformer 架构的详细参考、用于检索增强生成和代理工作流的实现框架，以及用于模型优化和微调的技术指南。 内容涵盖了广泛的功能，包括监督微调、低秩适应和基于偏好的对齐。它还通过量化、蒸馏和混合专家架构解决了模型效率问题，并研究了自注意力机制和 Flash Attention 机制。 该实现以 Jupyter Notebooks 集合的形式提供。
Provides a technical study of quantization and distillation techniques to reduce memory usage and increase efficiency.
