Catégorie : PEFT
-
LoRA
LoRA (Low-Rank Adaptation ) est une méthode de fine tuning pour LLM. Par fine tuning il faut entendre adaptation du modèle à des tâches ou à un domaine spécifique (par exemple médical). LoRA comme toutes les méthodes PEFT n’est pas exclusif à Llama 2 mais son utilisation est plus facile avec des LLM open sources. Similar…
-
PEFT
Parameter-efficient Fine-tuning (PEFT) is a technique used in Natural Language Processing (NLP) to improve the performance of pre-trained language models on specific downstream tasks. It involves reusing the pre-trained model’s parameters and fine-tuning them on a smaller dataset, which saves computational resources and time compared to training the entire model from scratch. https://www.leewayhertz.com/parameter-efficient-fine-tuning/ PEFT est…