Awesome GitHub RepositoriesModel Optimization Guides

This project is an open-source educational resource providing structured, step-by-step guides for fine-tuning large language models. It focuses on adapting pre-trained transformer-based causal models to custom datasets, enabling users to transfer specific writing styles or domain knowledge into generative AI models. The repository distinguishes itself by emphasizing parameter-efficient training techniques, specifically low-rank adaptation. By providing practical implementations for updating only a small subset of model weights, it allows for the customization of massive neural networks on con

Este proyecto es una guía de estudio y referencia técnica integral para aprender las arquitecturas y métodos de entrenamiento de Transformers y modelos de lenguaje grandes (LLM). Sirve como una visión general técnica para entender cómo las redes neuronales procesan datos y cómo alinear el comportamiento del modelo con objetivos de rendimiento específicos. El repositorio proporciona guías especializadas en varias áreas clave del desarrollo de modelos. Esto incluye referencias detalladas para arquitecturas de transformadores, frameworks de implementación para generación aumentada por recuperación (RAG) y flujos de trabajo de agentes, y guías técnicas para la optimización y ajuste fino (fine-tuning) de modelos. El contenido cubre una amplia gama de capacidades, incluyendo ajuste fino supervisado, adaptación de bajo rango (LoRA) y alineación basada en preferencias. También aborda la eficiencia del modelo mediante cuantización, destilación y arquitecturas de mezcla de expertos (MoE), junto con el estudio de mecanismos de auto-atención y flash attention. Los recursos y muestras se proporcionan para el desarrollo en C#, JavaScript y Python.