Järjestelmä on multimodaalinen, jos se pystyy käsittelemään ja yhdistämään tietoa useista eri tietotyypeistä — eli modaliteeteista — kuten tekstistä, kuvista, äänestä tai videosta. Toisin kuin perinteiset mallit, jotka rajoittuivat yhteen syötteeseen (esimerkiksi pelkkään tekstiin), nämä mallit yhdistävät useita lähteitä yhteiseen esitysmuotoon, mikä mahdollistaa niiden päättelyn kokonaisuutena.
Sillä on merkitystä, koska todellinen maailma ei ole yksimodaalinen: ymmärrämme tilanteen yhdistämällä sen, mitä näemme, kuulemme ja luemme. Tämä kyky vie tekoälyn lähemmäs rikkaampaa ja kontekstuaalisempaa ymmärrystä ja mahdollistaa tehtäviä, joihin aiemmin tarvittiin useita erillisiä järjestelmiä. Muutama käytännön esimerkki:
- Kuvan sisällön kuvaileminen tekstinä.
- Kysymyksiin vastaaminen kaavioesityksestä tai skannatusta asiakirjasta.
- Kuvan luominen kirjallisen kuvauksen perusteella.
Olennainen tarkennus on, että »multimodaalisuus» ei tarkoita, että kaikki modaliteetit hallittaisiin yhtä hyvin. Monet mallit loistavat teksti–kuva-yhdistelmissä, kun taas ääni ja video ovat edelleen rajallisempia tai ne on otettu mukaan vain osittain.