Awesome GitHub RepositoriesOptimization References

Este proyecto es una guía de estudio y referencia técnica integral para aprender las arquitecturas y métodos de entrenamiento de Transformers y modelos de lenguaje grandes (LLM). Sirve como una visión general técnica para entender cómo las redes neuronales procesan datos y cómo alinear el comportamiento del modelo con objetivos de rendimiento específicos. El repositorio proporciona guías especializadas en varias áreas clave del desarrollo de modelos. Esto incluye referencias detalladas para arquitecturas de transformadores, frameworks de implementación para generación aumentada por recuperación (RAG) y flujos de trabajo de agentes, y guías técnicas para la optimización y ajuste fino (fine-tuning) de modelos. El contenido cubre una amplia gama de capacidades, incluyendo ajuste fino supervisado, adaptación de bajo rango (LoRA) y alineación basada en preferencias. También aborda la eficiencia del modelo mediante cuantización, destilación y arquitecturas de mezcla de expertos (MoE), junto con el estudio de mecanismos de auto-atención y flash attention. Los recursos y muestras se proporcionan para el desarrollo en C#, JavaScript y Python.