O prompt drift descreve a degradação progressiva de um prompt que anteriormente oferecia bons resultados e que, com o passar do tempo, começa a produzir respostas piores, inconsistentes ou diretamente erradas. Geralmente não se deve a uma alteração no próprio texto, mas sim a fatores externos que alteram o comportamento do modelo subjacente.
As causas mais comuns são:
- Atualizações do modelo: o fornecedor publica uma nova versão com um comportamento diferente.
- Alterações nos parâmetros por defeito como a temperatura ou o contexto disponível.
- Deriva nos dados ou no caso de uso, quando as entradas reais começam a diferir daquelas para as quais o prompt foi concebido.
É importante porque afeta sistemas em produção: uma integração estável pode quebrar sem que ninguém tenha tocado no código. Por exemplo, um prompt que extraía dados em formato JSON pode, após uma atualização, adicionar texto explicativo que quebre o processamento posterior. Para o mitigar, convém fixar versões concretas do modelo, monitorizar a qualidade dos resultados e manter um conjunto de testes de regressão que detete a degradação a tempo.