La inferència local consisteix a executar un model d'IA directament en el teu propi maquinari —ordinador, servidor o dispositiu mòbil— en lloc d'enviar les peticions al núvol d'un proveïdor extern. Tota la fase de càlcul, des que introdueixes una entrada fins que obtens una resposta, ocorre en el teu equip sense que les dades en surtin.
Això importa per tres motius principals:
- Privacitat: la informació sensible mai abandona la teva màquina, un fet crític en sectors com la sanitat o l'àmbit legal.
- Cost: evites pagar per ús d'API, la qual cosa resulta rendible en volums alts.
- Disponibilitat: funciona sense connexió a internet i no depens de la latència o les caigudes d'un servei remot.
A la pràctica, eines com Ollama o LM Studio permeten executar models oberts (per exemple, Llama o Mistral) en un portàtil. El matís és el maquinari: els models grans exigeixen molta memòria RAM o VRAM, per la qual cosa en local se sol recórrer a versions més petites o quantitzades.