Catégorie : Adapters

Les « adapters » ne sont pas nouveaux. Ils ont été proposés en 2019 par une équipe de Google (voir article Parameter-Efficient Transfer Learning for NLP). Le principe des « adapters » est d’ajouter des couches entraînables aux blocs des Transformers. Cela peut être fait de différentes façons. The main idea behind additive methods is aug- menting the existing…