Paikallinen päättely tarkoittaa tekoälymallin suorittamista suoraan omalla laitteistollasi –tietokoneella, palvelimella tai mobiililaitteella– sen sijaan, että pyynnöt lähetettäisiin ulkoisen palveluntarjoajan pilvipalveluun. Koko laskentavaihe, syötteen antamisesta vastauksen saamiseen, tapahtuu omalla koneellasi, eikä data poistu siitä.
Tällä on kolme pääasiallista hyötyä:
- Yksityisyys: arkaluonteinen tieto ei koskaan poistu koneeltasi, mikä on ratkaisevan tärkeää esimerkiksi terveydenhuollon ja oikeusalan kaltaisilla aloilla.
- Kustannukset: vältät API-käytöstä maksamisen, mikä on kannattavaa suurilla käyttömäärillä.
- Saatavuus: toimii ilman internetyhteyttä, eikä sinun tarvitse olla riippuvainen etäpalvelun viiveestä tai katkoksista.
Käytännössä työkalut, kuten Ollama tai LM Studio, mahdollistavat avoimien mallien (esimerkiksi Llaman tai Mistralin) ajamisen kannettavalla tietokoneella. Oleellinen rajoite on laitteisto: suuret mallit vaativat paljon keskusmuistia (RAM) tai näytönohjaimen muistia (VRAM), minkä vuoksi paikallisesti käytetään yleensä pienempiä tai kvantisoituja versioita.