Awesome GitHub RepositoriesOptimization References

Ce projet est un guide d'étude complet et une référence technique pour apprendre les architectures et les méthodes d'entraînement des Transformers et des grands modèles de langage. Il sert d'aperçu technique pour comprendre comment les réseaux de neurones traitent les données et comment aligner le comportement du modèle avec des objectifs de performance spécifiques. Le dépôt fournit des guides spécialisés sur plusieurs domaines clés du développement de modèles. Cela inclut des références détaillées pour les architectures de transformateurs, des frameworks d'implémentation pour la génération augmentée par récupération (RAG) et les flux de travail agentiques, ainsi que des guides techniques pour l'optimisation et le fine-tuning des modèles. Le contenu couvre un large éventail de capacités, y compris le fine-tuning supervisé, l'adaptation de bas rang (LoRA) et l'alignement basé sur les préférences. Il aborde également l'efficacité des modèles via la quantification, la distillation et les architectures de mélange d'experts, ainsi que l'étude des mécanismes d'auto-attention et de flash attention. Les ressources et les exemples sont fournis pour le développement en C#, JavaScript et Python.