Mixture of Experts (MoE) on neuroverkkoarkkitehtuuri, joka jakaa mallin useisiin erikoistuneisiin aliverkkoihin, joita kutsutaan expertteiksi. Komponentti nimeltä router (eli gating network) päättää kullekin syötteelle, mitkä expertit aktivoidaan. Sen sijaan, että jokainen token kulkisi kaikkien mallin parametrien läpi, käytetään vain osajoukkoa. Tätä kutsutaan harvaksi aktivoinniksi (sparse activation).
Sen merkitys liittyy tehokkuuteen: sen avulla mallin parametrien kokonaismäärää voi kasvattaa ilman, että päättelyn laskentakustannus kasvaa suhteellisesti. MoE-malli voi sisältää satoja miljardeja parametreja, mutta aktivoida niistä vain murto-osan kutakin tokenia kohden, jolloin saadaan suuri kapasiteetti kohtuulliseen hintaan.
Joitakin käytännön seikkoja kannattaa ottaa huomioon:
- Kuormituksen tasapaino experttien välillä on kriittinen; jos router suosii aina samoja expertteja, muut jäävät vajaakäyttöön.
- Se vaatii enemmän muistia, koska kaikkien expertttien on oltava ladattuina, vaikka niitä ei käytettäisi.
Mallit kuten Mixtral 8x7B tai useat GPT-version mallit hyödyntävät tätä lähestymistapaa yhdistääkseen tehon ja tehokkuuden.