A contaminação de dados (ou data contamination) ocorre quando exemplos dos conjuntos de avaliação acabam presentes, total ou parcialmente, nos dados de treino de um modelo. Isto quebra a separação que deveria existir entre o que o modelo aprende e aquilo com que se mede o seu desempenho. Como consequência, o modelo não demonstra capacidade real de generalização, mas sim que "memorizou" as respostas corretas.
A sua relevância é crítica porque invalida os resultados dos benchmarks: os valores de precisão ficam inflacionados e deixam de refletir o comportamento do modelo perante dados novos. Isto dificulta a comparação de sistemas de forma justa e pode levar a decisões erradas em investigação ou produção.
É um problema especialmente comum nos grandes modelos de linguagem, treinados com enormes volumes de texto extraído da internet, onde se podem infiltrar:
- Perguntas e soluções de testes académicos publicados.
- Conjuntos de avaliação abertos como MMLU ou GSM8K.
- Repositórios com exercícios e as suas respostas.
Para o mitigar, aplicam-se técnicas de descontaminação, que detetam e eliminam sobreposições antes de treinar ou avaliar.