Prompt Drift beschreibt die fortschreitende Verschlechterung eines Prompts, der zuvor gute Ergebnisse lieferte und im Laufe der Zeit beginnt, schlechtere, inkonsistente oder schlichtweg fehlerhafte Antworten zu erzeugen. Dies liegt meist nicht an einer Änderung des Textes selbst, sondern an externen Faktoren, die das Verhalten des zugrunde liegenden Modells verändern.
Die häufigsten Ursachen sind:
- Modell-Updates: Der Anbieter veröffentlicht eine neue Version mit einem anderen Verhalten.
- Änderungen an Standardparametern wie der Temperatur oder dem verfügbaren Kontext.
- Daten- oder Anwendungsfall-Drift, wenn die tatsächlichen Eingaben beginnen, von jenen abzuweichen, für die der Prompt entworfen wurde.
Dies ist von Bedeutung, da es Produktivsysteme betrifft: Eine stabile Integration kann fehlschlagen, ohne dass jemand den Code geändert hat. Beispielsweise kann ein Prompt, der Daten im JSON-Format extrahierte, nach einem Update erklärenden Text hinzufügen, der die anschließende Verarbeitung unterbricht. Um dies abzumildern, empfiehlt es sich, konkrete Modellversionen festzulegen, die Qualität der Ausgaben zu überwachen und einen Satz von Regressionstests zu unterhalten, der die Verschlechterung rechtzeitig erkennt.