Awesome GitHub RepositoriesQuantized Model Loading

BigDL es un framework de aceleración de PyTorch y motor de inferencia distribuida diseñado para grandes modelos de lenguaje. Proporciona un kit de herramientas para ejecutar modelos en hardware Intel, integrando herramientas de cuantización y librerías para el ajuste fino eficiente en parámetros. El proyecto se distingue por el uso de paralelismo de pipeline para distribuir cargas de trabajo de modelos a través de múltiples aceleradores de hardware. Utiliza cuantización de enteros de bajo bit y decodificación especulativa para reducir la huella de memoria y disminuir la latencia de generación de texto. El sistema cubre amplias capacidades en optimización de modelos, incluyendo compresión de pesos y carga de modelos cuantizados. También admite rutinas de entrenamiento aceleradas por hardware para adaptar modelos preentrenados a tareas específicas.

Este framework proporciona un toolkit para el ajuste fino (fine-tuning) de modelos de lenguaje de gran tamaño combinando paralelismo de datos distribuido con técnicas de fragmentación de parámetros y cuantización. Está diseñado para escalar el entrenamiento de redes neuronales masivas a través de múltiples procesadores gráficos, permitiendo la ejecución de modelos que exceden la capacidad de memoria de unidades de hardware individuales. La librería se distingue por integrar la adaptación de bajo rango (LoRA) con carga de pesos eficiente en memoria y fragmentación de parámetros consciente de la cuantización. Al inicializar los pesos del modelo directamente en el procesador gráfico y aplicar un envoltorio granular por capas, el framework minimiza los picos de memoria y reduce la sobrecarga de comunicación durante las fases de configuración y entrenamiento distribuido. El sistema admite el entrenamiento de arquitecturas transformer personalizadas a través de políticas de envoltorio flexibles para capas de atención y perceptrón multicapa. Además, optimiza el uso de recursos ajustando dinámicamente la precisión numérica durante el cálculo, equilibrando la estabilidad del entrenamiento frente a la memoria de hardware disponible. El proyecto se distribuye como una colección de utilidades y scripts destinados a su uso en entornos de computación distribuida.