Punainen tiimi (red teaming) on vastakkainen arviointikäytäntö, jossa tiimi tarkoituksellisesti yrittää saada tekoälyjärjestelmän epäonnistumaan, käyttäytymään ei-toivotulla tavalla tai tuottamaan vahingollisia vastauksia. Nimi tulee sotilaallisesta ja kyberturvallisuuden alasta, jossa "punainen tiimi" esittää hyökkääjää testatakseen puolustusta. Kielimalleihin ja muihin järjestelmiin sovellettuna siinä etsitään aktiivisesti heikkoja kohtia ennen kuin pahantahtoiset käyttäjät ehtivät löytää ne tai ennen kuin ne aiheuttavat vahinkoa vahingossa.
Menetelmällä on merkitystä, koska tavanomaiset testit harvoin ennakoivat luovia tai pahantahtoisia käyttötapoja, joita esiintyy todellisessa maailmassa. Punainen tiimi auttaa paljastamaan riskejä, kuten:
- Vaarallisen tai laittoman sisällön tuottaminen.
- Arkaluonteisten tietojen tai koulutusaineiston vuotaminen.
- Vinoumat sekä haavoittuvuudet kehotteiden injektointia (prompt injection) tai jailbreak-hyökkäyksiä vastaan.
Käytännössä se voi olla manuaalista, jolloin asiantuntijat suunnittelevat hyökkäyksiä, tai automatisoitua, jolloin muita malleja käytetään tuottamaan tuhansia vihamielisiä syötteitä. Löydöksiä hyödynnetään turvasuodattimien vahvistamiseen ja mallin toiminnan parantamiseen ennen käyttöönottoa.