1 个仓库
Methods for examining the performance and scaling of RAG and agentic systems.
Distinct from LLM Performance Analyzers: Analyzes the system-level application of agents and retrieval rather than pinpointing execution bottlenecks in a specific codebase.
Explore 1 awesome GitHub repository matching software engineering & architecture · Application Analysis. Refine with filters or upvote what's useful.
此项目是一个全面的技术课程学习指南和参考,用于学习 Transformer 和大语言模型的架构及训练方法。它作为一个技术概览,用于理解神经网络如何处理数据以及如何使模型行为与特定的性能目标保持一致。 该仓库提供了关于模型开发几个关键领域的专门指南。这包括关于 Transformer 架构的详细参考、用于检索增强生成和代理工作流的实现框架,以及用于模型优化和微调的技术指南。 内容涵盖了广泛的功能,包括监督微调、低秩适应和基于偏好的对齐。它还通过量化、蒸馏和混合专家架构解决了模型效率问题,并研究了自注意力机制和 Flash Attention 机制。 该实现以 Jupyter Notebooks 集合的形式提供。
Examines the implementation and performance of retrieval systems and autonomous agents.