Tekoälyn turvallisuus (AI Safety) on tieteenala, joka tutkii ja kehittää menetelmiä, joilla varmistetaan, että tekoälyjärjestelmät toimivat luotettavasti, ennustettavasti ja ihmisten tavoitteiden mukaisesti, ja estetään sekä tahallisia että tahattomia vahinkoja. Se kattaa konkreettiset tekniset ongelmat aina pitkän aikavälin riskeihin, jotka liittyvät yhä kyvykkäämpiin järjestelmiin.
Sen merkitys kasvaa sitä mukaa, kun tekoäly integroituu kriittisille aloille, kuten terveydenhuoltoon, itseajaviin ajoneuvoihin tai infrastruktuuriin. Malli, joka pettää odottamattomasti, on alttiina manipulaatiolle tai tavoittelee väärin määriteltyjä tavoitteita, voi aiheuttaa vakavaa haittaa. Tyypillisiä tutkimuslinjoja ovat seuraavat:
- Alignment (kohdistus): saada järjestelmä tavoittelemaan sitä, mitä todella haluamme, eikä tavoitteen kirjaimellista tulkintaa.
- Robustisuus: säilyttää vakaa toiminta odottamattomissa syötteissä tai hyökkäyksissä.
- Tulkittavuus: ymmärtää, miksi malli tekee tietyn päätöksen.
Käytännön esimerkki on reward hacking, jossa agentti hyödyntää palkitsemisfunktionsa virheitä saadakseen korkean pistemäärän ilman, että se täyttää sille tarkoitetun tehtävän.