Il fallait s’y attendre ! Meta propose désormais une version Code de Llama 2, c’est à dire un logiciel basé sur Llama 2 (en fait les 3 versions de Llama 2 : 7B, 13B et 34B) dédié à l’écriture de code (et même plus que ça).
Code Llama va donc concurrencer les nombreux acteurs déjà présents sur ce marché, en étant open source !
Il y a même une version de code Llama dédiée au code Python.
Code Llama, vu autrement :
Les performances comparées du Code Llama :
| Model | HumanEval (pass@1) | MBPP (pass@1) | Multilingual Human Eval (pass@1) |
|---|---|---|---|
| Codex | 33.5 | 45.9 | 26.1 |
| GPT 3.5 | 48.1 | 52.2 | |
| GPT 4 | 67.0 | ||
| Palm-Coder | 36.0 | 47.0 | |
| StarCoder Python | 33.6 | 52.7 | 25.3 |
| StarCoder (prompted) | 40.8 | 49.5 | |
| Llama 2 (70B) | 30.5 | 45.4 | 24.4 |
| Code Llama 7B | 33.5 | 41.4 | 26.3 |
| Code Llama 13B | 36.0 | 47.0 | 30.6 |
| Code Llama 34B | 48.8 | 55.0 | 36.4 |
| Code Llama – Instruct 7B | 34.8 | 44.4 | 25.8 |
| Code Llama – Instruct 13B | 42.7 | 49.4 | 32.0 |
| Code Llama – Instruct 34B | 41.5 | 57.0 | 36.1 |
| Code Llama – Python 7B | 38.4 | 47.6 | 27.5 |
| Code Llama – Python 13B | 43.3 | 49.0 | 31.5 |
| Code Llama – Python 34B | 53.7 | 56.2 | 35.1 |