La fenêtre de contexte
Le texte qu'un modèle a sous les yeux à un instant donné.
La fenêtre de contexte est la quantité de texte qu'un modèle de langage peut traiter en une fois : la question, les documents fournis, l'historique de la conversation et sa propre réponse. Ce qui n'y figure pas n'existe pas pour lui à cet instant.
D'où vient la limite
Les modèles actuels reposent sur l'architecture dite Transformer (Vaswani et al., 2017), dont le mécanisme d'attention compare chaque élément du texte à tous les autres. Pour la version de base, le coût de calcul augmente plus vite que la longueur du texte (de façon quadratique), ce qui explique que la fenêtre soit limitée et que beaucoup de travaux cherchent à la rendre moins coûteuse.
Une longue fenêtre n'est pas une bonne mémoire
Liu et ses collègues (2023, publié en 2024) ont mesuré comment des modèles utilisent une information placée à différents endroits d'un long contexte. Dans leurs expériences, les résultats sont meilleurs quand l'information est au début ou à la fin, et nettement moins bons au milieu. Ces résultats portent sur les modèles testés à l'époque ; ils ne disent pas ce qu'il en est de chaque modèle actuel.
Conséquence pratique
Mettre dans le contexte « tout ce qu'on a » ne garantit pas que le modèle en tiendra compte. D'où l'intérêt de choisir ce qu'on donne : le RAG.
À relier
Cette page renvoie à
Citée par
Sources
- Vaswani, A. et al., « Attention is all you need », Advances in Neural Information Processing Systems 30, 2017 (arXiv:1706.03762).
- Liu, N. F. et al., « Lost in the middle: how language models use long contexts », Transactions of the Association for Computational Linguistics, 12, 2024, p. 157-173 (arXiv:2307.03172).
Prompt pour votre IA
Copiez ce prompt dans l'IA de votre choix : il contient la page et lui demande de la vérifier, d'indiquer ses sources et de signaler les erreurs.
Avant de l'utiliser : Une réponse d'IA n'est pas une preuve : vérifiez toujours les sources vous-même. Ne collez rien de personnel ni de sensible (identité, santé, mots de passe, données de clients ou de tiers). Vous restez responsable de ce que vous faites des réponses. Avant d'utiliser nos prompts.
Pour une IA qui tourne sur votre ordinateur : Votre assistant local. Version Markdown de cette page : index.md.
Citer cette page
« La fenêtre de contexte », Sébastien Vidotto (Heteractis), https://www.apatie.fr/informatique/agents-ia/fenetre-de-contexte/, licence CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0/deed.fr). Modifications : aucune.