Llama 2: un blog à son sujet par BackProp
-
Pourquoi Llama 2
Llama pour « Large Language Model Meta AI », le nom est bien choisi. La première version a été annoncée en février 2023 et la version 2, Llama 2, en juillet 2023. Entre-temps, Stanford, avait sorti Alpaca : We are releasing our findings about an instruction-following language model, dubbed Alpaca, which is fine-tuned from Meta’s LLaMA 7B model. https://crfm.stanford.edu/2023/03/13/alpaca.html Alpaca…
-
PEFT
Parameter-efficient Fine-tuning (PEFT) is a technique used in Natural Language Processing (NLP) to improve the performance of pre-trained language models on specific downstream tasks. It involves reusing the pre-trained model’s parameters and fine-tuning them on a smaller dataset, which saves computational resources and time compared to training the entire model from scratch. https://www.leewayhertz.com/parameter-efficient-fine-tuning/ PEFT est…
-
Natural Questions
Parmi les nombreux benchmarks retenus pour comparer les performances de Llama 2 à ses concurrents, Natural Questions est le troisième cité dans l’article de présentation du logiciel. Note de Llama 2 / Natural Questions La note obtenue par Llama 2 pour ce benchmark est de 33 pour la version 70B, ce qui le classe en…
-
TriviaQA
Parmi les nombreux benchmarks retenus pour comparer les performances de Llama 2 à ses concurrents, TriviaQA est le deuxième cité dans l’article de présentation du logiciel. Note de Llama 2 / TriviaQA La note obtenue par Llama 2 pour ce benchmark est de 85 pour la version 70B, ce qui le classe en 2ème position,…
-
MMLU
Parmi les nombreux benchmarks retenus pour comparer les performances de Llama 2 à ses concurrents, MMLU est le premier cité dans l’article de présentation du logiciel. Note de Llama 2 / MMLU La note obtenue par Llama 2 pour ce benchmark est de 68,9 pour la version 70B, ce qui le situe approximativement au niveau…
-
Microsoft & Llama 2
Microsoft avait un retard important dans le domaine de l’intelligence artificielle jusqu’en 2022. Distancés par Google et Facebook sur les frameworks de Deep Learning, CNTK (Cognitive Toolkit) n’a jamais été un rival sérieux de TensorFlow et PyTorch. En retard sur le cloud, Azure est loin derrière AWS (Amazon Web Services) pour les applications de Machine…
-
Llama 2 vs Llama
En février 2023, Meta annonçait Llama, un modèle essentiellement destiné à la recherche. Le modèle, comme les fringues ! est proposé dans différentes tailles (7B, 13B, 33B, and 65B). Llama a été entraîné sur 1000 milliards de tokens pour la version 7B et encore plus pour les versions supérieures. We trained LLaMA 65B and LLaMA…