Le prompt drift décrit la dégradation progressive d'un prompt qui offrait auparavant de bons résultats et qui, au fil du temps, commence à produire des réponses de moindre qualité, incohérentes ou carrément erronées. Cela n'est généralement pas dû à une modification du texte lui-même, mais à des facteurs externes qui altèrent le comportement du modèle sous-jacent.
Les causes les plus fréquentes sont :
- Mises à jour du modèle : le fournisseur publie une nouvelle version présentant un comportement différent.
- Changements des paramètres par défaut tels que la température ou le contexte disponible.
- Dérive des données ou du cas d'usage, lorsque les entrées réelles commencent à différer de celles pour lesquelles le prompt a été conçu.
Ce phénomène est important car il affecte les systèmes en production : une intégration stable peut être compromise sans que personne n'ait modifié le code. Par exemple, un prompt qui extrayait des données au format JSON peut, après une mise à jour, ajouter du texte explicatif qui interrompt le traitement ultérieur. Pour l'atténuer, il convient de fixer des versions spécifiques du modèle, de surveiller la qualité des sorties et de maintenir un ensemble de tests de régression afin de détecter la dégradation à temps.