Parameter-efficient Fine-tuning (PEFT) is a technique used in Natural Language Processing (NLP) to improve the performance of pre-trained language models on specific downstream tasks. It involves reusing the pre-trained model’s parameters and fine-tuning them on a smaller dataset, which saves computational resources and time compared to training the entire model from scratch.

https://www.leewayhertz.com/parameter-efficient-fine-tuning/

PEFT est analogue à ce qu’on fait depuis longtemps (quelques années) dans le domaine de la vision, avec le Transfer Learning. Plutôt que de ré-entraîner la totalité du modèle, on garde presque toute les couches telles quelles, et on remplace la dernière couche du modèle par une ou ou plusieurs, adaptées à notre problème et on entraîne uniquement les dernières couches et si les autres avec un Learning rate très faible.

Il existe plusieurs méthodes PEFT. Par exemple : Adapters (article sur ce site), LoRA (Low-Rank Adaptation of Large Language Models), Prefix Tuning, Prompt Tuning, P-Tuning. Ces méthodes, avec d’autres, sont supportées par la librairie PEFT.