NAiOS IconNAiOS Logo
NAiOS Wiki

Contaminação de dados

También: Contaminação de dados · Data Leakage · Fuga de dados · Contaminação de benchmarks

Quando dados de avaliação se infiltram no treino, enviesando benchmarks

1 min de lectura

A contaminação de dados (ou data contamination) ocorre quando exemplos dos conjuntos de avaliação acabam presentes, total ou parcialmente, nos dados de treino de um modelo. Isto quebra a separação que deveria existir entre o que o modelo aprende e aquilo com que se mede o seu desempenho. Como consequência, o modelo não demonstra capacidade real de generalização, mas sim que "memorizou" as respostas corretas.

A sua relevância é crítica porque invalida os resultados dos benchmarks: os valores de precisão ficam inflacionados e deixam de refletir o comportamento do modelo perante dados novos. Isto dificulta a comparação de sistemas de forma justa e pode levar a decisões erradas em investigação ou produção.

É um problema especialmente comum nos grandes modelos de linguagem, treinados com enormes volumes de texto extraído da internet, onde se podem infiltrar:

  • Perguntas e soluções de testes académicos publicados.
  • Conjuntos de avaliação abertos como MMLU ou GSM8K.
  • Repositórios com exercícios e as suas respostas.

Para o mitigar, aplicam-se técnicas de descontaminação, que detetam e eliminam sobreposições antes de treinar ou avaliar.

¿Quieres profundizar?

Lee nuestros artículos sobre IA aplicada en el blog de NAiOS.

Ir al Blog