Awesome GitHub RepositoriesQuantized Model Loading

BigDL est un framework d'accélération PyTorch et un moteur d'inférence distribué conçu pour les grands modèles de langage. Il fournit une boîte à outils pour exécuter des modèles sur du matériel Intel, intégrant des outils de quantification et des bibliothèques pour le fine-tuning efficace en paramètres. Le projet se distingue par l'utilisation du parallélisme de pipeline pour distribuer les charges de travail des modèles sur plusieurs accélérateurs matériels. Il utilise la quantification entière à faible bit et le décodage spéculatif pour réduire l'empreinte mémoire et diminuer la latence de génération de texte. Le système couvre de larges capacités en optimisation de modèles, incluant la compression de poids et le chargement de modèles quantifiés. Il prend également en charge des routines d'entraînement accélérées par le matériel pour adapter les modèles pré-entraînés à des tâches spécifiques.

Ce framework fournit une boîte à outils pour le fine-tuning de grands modèles de langage (LLM) en combinant le parallélisme de données distribué avec des techniques de partitionnement de paramètres et de quantification. Il est conçu pour mettre à l'échelle l'entraînement de réseaux de neurones massifs sur plusieurs processeurs graphiques, permettant l'exécution de modèles qui dépassent la capacité mémoire des unités matérielles individuelles. La bibliothèque se distingue en intégrant l'adaptation de bas rang (LoRA) avec un chargement de poids efficace en mémoire et un partitionnement de paramètres conscient de la quantification. En initialisant les poids du modèle directement sur le processeur graphique et en appliquant un wrapping granulaire couche par couche, le framework minimise les pics de mémoire et réduit la surcharge de communication pendant les phases de configuration et d'entraînement distribué. Le système prend en charge l'entraînement d'architectures transformer personnalisées grâce à des politiques de wrapping flexibles pour les couches d'attention et les perceptrons multicouches. Il optimise davantage l'utilisation des ressources en ajustant dynamiquement la précision numérique pendant le calcul, équilibrant la stabilité de l'entraînement par rapport à la mémoire matérielle disponible. Le projet est distribué sous forme de collection d'utilitaires et de scripts destinés à être utilisés dans des environnements de calcul distribué.