Llama 2: un blog à son sujet par BackProp
-
Llama 2 aujourd’hui
D’après Meta, la famille de modèles ouverts Llama a eu un impact profond sur le paysage de l’IA générative. Depuis la sortie initiale en février 2023 !, les modèles disponibles sur Hugging Face (>9000 modèles) ont été téléchargés plus de 30 millions de fois (par exemple >1,2M pour meta-llama/Llama-2-7b-chat-hf) et plus de 10 millions de…
-
Llama 2 est-il open source
Le 18 juillet 2023, Meta, annonçait Llama 2, une nouvelle génération du « Large Language Model » Llama. L’annonce, bizarrement, n’était pas seulement en provenance de Meta mais aussi de Microsoft dont on connaît les liens avec OpenAI. Plus que l’annonce d’un nouveau LLM, la grande nouvelle était sa licence d’utilisation : « Llama 2 is free for…
-
Code Llama
Il fallait s’y attendre ! Meta propose désormais une version Code de Llama 2, c’est à dire un logiciel basé sur Llama 2 (en fait les 3 versions de Llama 2 : 7B, 13B et 34B) dédié à l’écriture de code (et même plus que ça). Code Llama va donc concurrencer les nombreux acteurs déjà…
-
Giraffe
Abacus.ai a mis à disposition, en open source, chez Hugging Face un nouveau LLM basé sur LLaMA2-13B en élargissant la fenêtre contextuelle à 32K. En même temps, ils proposent aussi des versions créées à partir de Llama (et non Llama 2). L’ensemble de ces nouveaux LLM s’intitule Giraffe. Le context length de Llama 2, quelque-soit…
-
Tuning de Llama 2 2/n
Cet article est la suite de 1/n. L’article de référence retenu pour expliquer le tuning de Llama 2 est celui ci : Fine-Tune Your Own Llama 2 Model in a Colab Notebook – A practical introduction to LLM fine-tuning de Maxime Labonne. L’article date de fin juillet 2023. J’ai fait quelques modifications au code afin de l’adapter…
-
Prompt Template
L’article de référence pour le mien est le suivant : Llama 2 Prompt Template associé à ce notebook qui trouve sa source ici. Il n’y a de prompt template que pour la version chat des modèles. Another important point related to the data quality is the prompt template. Prompts are comprised of similar elements: system prompt…
-
Tuning de Llama 2 1/n
L’article de référence retenu pour expliquer le tuning de Llama 2 est celui ci : Fine-Tune Your Own Llama 2 Model in a Colab Notebook – A practical introduction to LLM fine-tuning de Maxime Labonne (il existe une autre version ici). L’article date de fin juillet 2023. J’ai fait quelques modifications au code afin de…
-
Stable Beluga 1 et 2
Le 28 juillet 2023, Stability.AI, annonçait deux nouveaux Large Language Models, Stable Beluga 1 et Stable Beluga 2 (FreeWilly). Ces deux modèles sont du type ChatGPT, c’est à dire post-entraînés pour du Chat (+ autre) Stable Beluga 1 est créé à partir de Llama 65B, c’est à dire la version 1 de Llama ayant 65B…
-
LoRA
LoRA (Low-Rank Adaptation ) est une méthode de fine tuning pour LLM. Par fine tuning il faut entendre adaptation du modèle à des tâches ou à un domaine spécifique (par exemple médical). LoRA comme toutes les méthodes PEFT n’est pas exclusif à Llama 2 mais son utilisation est plus facile avec des LLM open sources. Similar…
-
Adapters
Les « adapters » ne sont pas nouveaux. Ils ont été proposés en 2019 par une équipe de Google (voir article Parameter-Efficient Transfer Learning for NLP). Le principe des « adapters » est d’ajouter des couches entraînables aux blocs des Transformers. Cela peut être fait de différentes façons. The main idea behind additive methods is aug- menting the existing…