En intelligence artificielle et en prompt engineering, la fenêtre de contexte est un concept crucial pour comprendre comment les modèles de langage fonctionnent. Qu’est-ce que la fenêtre de contexte ? C’est la quantité d’informations qu’un modèle de langage peut « garder en mémoire » lorsqu’il traite une requête.
Comment fonctionne la fenêtre de contexte ?
Imaginez la fenêtre de contexte comme la mémoire à court terme d’un modèle de langage. Tout comme une personne ne peut retenir qu’un certain nombre d’éléments à la fois, un modèle de langage a une capacité limitée pour traiter l’information. Cette limite est mesurée en « tokens », qui peuvent représenter des mots, des parties de mots, ou des symboles de ponctuation. Lorsqu’un modèle de langage reçoit une requête, il traite les informations dans l’ordre, token par token, jusqu’à atteindre sa limite de contexte. L’information au-delà de cette « fenêtre » est hors de portée pour le modèle lors de la génération de la réponse. Plus la fenêtre de contexte est large, plus le modèle peut prendre en compte d’informations pour générer une réponse pertinente.
Pourquoi la fenêtre de contexte est-elle importante ?
La taille de la fenêtre de contexte a un impact direct sur la performance d’un modèle de langage, notamment dans sa capacité à maintenir la cohérence et la pertinence dans des conversations longues ou des tâches complexes. Une fenêtre trop petite peut conduire à des réponses hors sujet ou répétitives, car le modèle « oublie » le contexte précédent. À l’inverse, une fenêtre plus large permet au modèle de conserver une meilleure compréhension de la conversation, de se souvenir des instructions précédentes et de générer des réponses plus précises et contextuellement appropriées.