1 Repo
Awesome GitHub RepositoriesModel Efficiency Techniques
Educational content on using quantization and mixture-of-experts to reduce computational footprints.
Distinct from Mixture of Experts Optimizations: Focuses on the educational study of efficiency techniques rather than specific adapter optimizations
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Model Efficiency Techniques. Refine with filters or upvote what's useful.
Awesome Model Efficiency Techniques GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509Auf GitHub ansehenDieses Projekt ist ein umfassender technischer Studienleitfaden und eine Referenz zum Erlernen der Architekturen und Trainingsmethoden von Transformern und großen Sprachmodellen. Es dient als technischer Überblick, um zu verstehen, wie neuronale Netze Daten verarbeiten und wie das Modellverhalten an spezifische Leistungsziele angepasst werden kann. Das Repository bietet spezialisierte Leitfäden zu mehreren Schlüsselbereichen der Modellentwicklung. Dies umfasst detaillierte Referenzen für Transformer-Architekturen, Implementierungs-Frameworks für Retrieval-Augmented Generation und agentische Workflows sowie technische Leitfäden für Modelloptimierung und Fine-Tuning. Der Inhalt deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Supervised Fine-Tuning, Low-Rank Adaptation und präferenzbasierter Ausrichtung. Er adressiert zudem die Modelleffizienz durch Quantisierung, Destillation und Mixture-of-Experts-Architekturen, neben dem Studium von Self-Attention- und Flash-Attention-Mechanismen.
Teaches the use of mixture-of-experts and quantization to lower computational requirements for deployment.
