La contaminación de datos (o data contamination) se produce cuando ejemplos de los conjuntos de evaluación acaban presentes, total o parcialmente, en los datos de entrenamiento de un modelo. Esto rompe la separación que debería existir entre lo que el modelo aprende y aquello con lo que se mide su rendimiento. Como consecuencia, el malli ei osoita todellista yleistyskykyä, vaan on "muistanut" oikeat vastaukset.
Sen merkitys on kriittinen, koska se mitätöi benchmarkien tulokset: tarkkuuslukemat ovat tällöin liian korkeita eivätkä enää kuvaa mallin toimintaa uusilla tiedoilla. Tämä vaikeuttaa järjestelmien vertailua reilusti ja voi johtaa virheellisiin päätöksiin tutkimuksessa tai tuotannossa.
Ongelma on erityisen yleinen suurissa kielimalleissa, jotka on koulutettu valtavilla internetistä kerätyillä tekstimäärillä, joihin voi päätyä:
- Julkaistujen akateemisten testien kysymyksiä ja ratkaisuja.
- Avoimia arviointiaineistoja, kuten MMLU tai GSM8K.
- Tehtäviä ja niiden vastauksia sisältäviä tietovarastoja.
Sen lieventämiseksi käytetään descontaminación-menetelmiä eli puhdistustekniikoita, jotka havaitsevat ja poistavat päällekkäisyydet ennen koulutusta tai arviointia.