Awesome GitHub RepositoriesArchitecture References

Este proyecto es una guía de estudio y referencia técnica integral para aprender las arquitecturas y métodos de entrenamiento de Transformers y modelos de lenguaje grandes (LLM). Sirve como una visión general técnica para entender cómo las redes neuronales procesan datos y cómo alinear el comportamiento del modelo con objetivos de rendimiento específicos. El repositorio proporciona guías especializadas en varias áreas clave del desarrollo de modelos. Esto incluye referencias detalladas para arquitecturas de transformadores, frameworks de implementación para generación aumentada por recuperación (RAG) y flujos de trabajo de agentes, y guías técnicas para la optimización y ajuste fino (fine-tuning) de modelos. El contenido cubre una amplia gama de capacidades, incluyendo ajuste fino supervisado, adaptación de bajo rango (LoRA) y alineación basada en preferencias. También aborda la eficiencia del modelo mediante cuantización, destilación y arquitecturas de mezcla de expertos (MoE), junto con el estudio de mecanismos de auto-atención y flash attention. Los recursos y muestras se proporcionan para el desarrollo en C#, JavaScript y Python.

The llm-architecture-gallery is a structured catalog and reference platform for exploring machine learning model architectures. It maintains a curated directory of language model specifications, release dates, parameter counts, and technical fact sheets. The platform includes a dedicated comparison tool that aligns model attributes side by side to evaluate structural differences, design tradeoffs, and attention mechanisms. Users can browse the reference collection and analyze aggregated metadata across various architectures. Underlying data is maintained in structured YAML files and process