1 Repo
Awesome GitHub RepositoriesOptimization References
Technical study materials focusing on the theoretical and practical aspects of model efficiency.
Distinct from Efficient LLM Development: Focuses on educational reference material rather than the active process of developing efficient models
Explore 1 awesome GitHub repository matching artificial intelligence & ml · Optimization References. Refine with filters or upvote what's useful.
Awesome Optimization References GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509Auf GitHub ansehenDieses Projekt ist ein umfassender technischer Studienleitfaden und eine Referenz zum Erlernen der Architekturen und Trainingsmethoden von Transformern und großen Sprachmodellen. Es dient als technischer Überblick, um zu verstehen, wie neuronale Netze Daten verarbeiten und wie das Modellverhalten an spezifische Leistungsziele angepasst werden kann. Das Repository bietet spezialisierte Leitfäden zu mehreren Schlüsselbereichen der Modellentwicklung. Dies umfasst detaillierte Referenzen für Transformer-Architekturen, Implementierungs-Frameworks für Retrieval-Augmented Generation und agentische Workflows sowie technische Leitfäden für Modelloptimierung und Fine-Tuning. Der Inhalt deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Supervised Fine-Tuning, Low-Rank Adaptation und präferenzbasierter Ausrichtung. Er adressiert zudem die Modelleffizienz durch Quantisierung, Destillation und Mixture-of-Experts-Architekturen, neben dem Studium von Self-Attention- und Flash-Attention-Mechanismen.
Provides a technical study of quantization and distillation techniques to reduce memory usage and increase efficiency.
