RLHF (Reinforcement Learning from Human Feedback) on tekniikka, jolla kielimalleja hienosäädetään yhdistämällä vahvistusoppiminen ihmisten antamiin arvioihin. Staattisen aineiston optimoinnin sijaan malli oppii tuottamaan vastauksia, joita ihmiset pitävät hyödyllisempinä, turvallisempina ja johdonmukaisempina. Se on yksi keskeisistä menetelmistä, joiden avulla suuret esikoulutetut mallit on saatu muuttumaan keskustelevoiksi avustajiksi, kuten ChatGPT.
Prosessi koostuu yleensä kolmesta vaiheesta:
- Ohjattu hienosäätö: malli koulutetaan esimerkkivastauksilla, jotka ihmiset ovat kirjoittaneet tai hyväksyneet.
- Palkkiomalli: merkitsijät vertailevat useita vastauksia ja järjestävät ne paremmuusjärjestykseen, ja näiden mieltymysten perusteella koulutetaan malli, joka ennustaa, mistä tulosteesta ihmiset pitävät eniten.
- Vahvistusoppimisen optimointi: varsinaista mallia säädetään maksimoimaan palkkio, yleensä algoritmeilla kuten PPO.
Menetelmän merkitys on siinä, että se sovittaa mallin käyttäytymisen ihmisten odotuksiin, joita on vaikea kirjata sääntöinä. Huomioitavaa on, että lopputulos riippuu paljon merkitsijöiden laadusta ja heidän vinoumistaan, ja menetelmä on kallis. Tämän vuoksi on syntynyt vaihtoehtoja, kuten DPO, sekä tekoälyn käyttö palautteen tuottamiseen.