NAiOS IconNAiOS Logo
NAiOS Wiki

Aprofitar

También: arnés d'avaluació · marc d'avaluació · evaluation harness · test harness

Marc que permet provar i avaluar el rendiment d'agents

1 min de lectura

En el context dels agents d'IA, un harness és la infraestructura de programari que envolta un model de llenguatge i li permet actuar com un agent funcional. No es tracta del model en si, sinó del conjunt de components que gestionen el flux de treball: la construcció dels prompts, l'accés a eines externes, la memòria, el control dels passos d'execució i la captura dels resultats.

La seva importància rau en el fet que el rendiment d'un agent depèn tant del model subjacent com del harness que l'orquestra. Un mateix model pot oferir resultats molt diferents segons com se li proporcioni el context o es gestionin les seves crides a eines. Per això, en comparar agents en benchmarks com SWE-bench, és essencial especificar quin harness s'ha utilitzat.

Un harness típic s'encarrega de:

  • Iterar sobre les accions de l'agent fins a assolir l'objectiu.
  • Connectar el model amb eines (terminal, navegador, API).
  • Registrar traces per avaluar i depurar el comportament.

¿Quieres profundizar?

Lee nuestros artículos sobre IA aplicada en el blog de NAiOS.

Ir al Blog