2 Repos
Awesome GitHub RepositoriesModel Optimization Guides
Technical documentation and tutorials for implementing parameter-efficient fine-tuning techniques.
Distinguishing note: Focuses on educational guides for fine-tuning techniques rather than the implementation libraries themselves.
Explore 2 awesome GitHub repositories matching education & learning resources · Model Optimization Guides. Refine with filters or upvote what's useful.
Awesome Model Optimization Guides GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- datawhalechina/self-llm
datawhalechina/self-llm
30,941Auf GitHub ansehenThis project is an open-source educational resource providing structured, step-by-step guides for fine-tuning large language models. It focuses on adapting pre-trained transformer-based causal models to custom datasets, enabling users to transfer specific writing styles or domain knowledge into generative AI models. The repository distinguishes itself by emphasizing parameter-efficient training techniques, specifically low-rank adaptation. By providing practical implementations for updating only a small subset of model weights, it allows for the customization of massive neural networks on con
Offers technical guidance on implementing low-rank adaptation techniques to optimize model performance with minimal overhead.
Jupyter Notebookchatglmchatglm3gemma-2b-it - afshinea/stanford-cme-295-transformers-large-language-models
afshinea/stanford-cme-295-transformers-large-language-models
4,509Auf GitHub ansehenDieses Projekt ist ein umfassender technischer Studienleitfaden und eine Referenz zum Erlernen der Architekturen und Trainingsmethoden von Transformern und großen Sprachmodellen. Es dient als technischer Überblick, um zu verstehen, wie neuronale Netze Daten verarbeiten und wie das Modellverhalten an spezifische Leistungsziele angepasst werden kann. Das Repository bietet spezialisierte Leitfäden zu mehreren Schlüsselbereichen der Modellentwicklung. Dies umfasst detaillierte Referenzen für Transformer-Architekturen, Implementierungs-Frameworks für Retrieval-Augmented Generation und agentische Workflows sowie technische Leitfäden für Modelloptimierung und Fine-Tuning. Der Inhalt deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Supervised Fine-Tuning, Low-Rank Adaptation und präferenzbasierter Ausrichtung. Er adressiert zudem die Modelleffizienz durch Quantisierung, Destillation und Mixture-of-Experts-Architekturen, neben dem Studium von Self-Attention- und Flash-Attention-Mechanismen.
Offers technical documentation and tutorials for implementing parameter-efficient fine-tuning and model optimization techniques.
