Abacus.ai a mis à disposition, en open source, chez Hugging Face un nouveau LLM basé sur LLaMA2-13B en élargissant la fenêtre contextuelle à 32K.

En même temps, ils proposent aussi des versions créées à partir de Llama (et non Llama 2).

L’ensemble de ces nouveaux LLM s’intitule Giraffe.

Le context length de Llama 2, quelque-soit la version, est de 4K.

En quoi augmenter le context length améliore-t-il les performances du modèle ? et si c’est le cas, pourquoi ne le fait-on pas systématiquement dès la création du modèle ?

La réponse à la 2nde question est ici :

Why can’t we just train the model on longer contexts though? The primary reason for this is that a key component of modern LLM architecture – called self-attention – scales quadratically in both memory and compute as context length increases, so there will quickly be a point where you don’t have sufficient GPUs, time or money to train for longer contexts. Hence having a method that can zero-shot extrapolate to context lengths never seen before is key.

https://blog.abacus.ai/blog/2023/08/22/giraffe-long-context-llms/

Augmenter le contexte c’est augmenter le coût.

Les résultats de l’augmentation de la fenêtre contextuelle ne sont pas probants mais à vous d’essayer…