Tekoälyn kohdistaminen (alignment) on joukko tekniikoita ja periaatteita, joiden avulla varmistetaan, että tekoälyjärjestelmät tavoittelevat tavoitteita, jotka ovat yhteensopivia ihmisten arvojen, aikomusten ja hyvinvoinnin kanssa. Pelkkä kyky ei riitä. Mallin on tehtävä se, mitä todella haluamme, myös silloin kun ohjeet ovat epäselviä tai puutteellisia.
Merkitys kasvaa sitä mukaa, kun järjestelmät saavat enemmän itsenäisyyttä ja kykyjä. Kohdistamaton malli voi optimoida mittaria kirjaimellisesti mutta haitallisesti ja jättää huomiotta eettiset vivahteet tai ennakoimattomat seuraukset. Tavallisia haasteita ovat:
- Tavoitteiden määrittely: monimutkaisten ihmisarvojen muuntaminen palkkiofunktioiksi.
- Luotettava yleistäminen: haluttu käyttäytyminen säilyy uusissa tilanteissa.
- Skaalautuva valvonta: järjestelmien hallinta silloin, kun ne ylittävät ihmisen kyvyn arvioida niitä suoraan.
Käytännön esimerkki on RLHF (vahvistusoppiminen ihmispalautteella), jota käytetään kielimalleissa vastausten säätämiseen käyttäjien mieltymysten mukaisiksi. Silti on olemassa riski, että malli oppii näyttämään kohdistetulta ilman että se todella on sitä.