L'Edge AI consisteix a executar models d'intel·ligència artificial localment en el mateix dispositiu —un mòbil, una càmera, un sensor industrial o un cotxe— en lloc d'enviar les dades a servidors remots per al seu processament. El terme "edge" (vora) fa referència als extrems de la xarxa, on es generen les dades, enfront del model centralitzat del núvol.
La seva rellevància s'explica per diversos avantatges pràctics:
- Baixa latència: la resposta és gairebé immediata en no dependre de la connexió.
- Privacitat: les dades sensibles no surten del dispositiu.
- Funcionament sense connexió: opera encara que no hi hagi accés a internet.
- Menor cost i consum d'ample de banda en evitar transmetre grans volums d'informació.
Un exemple quotidià és el desbloqueig facial d'un telèfon o els assistents de veu que reconeixen ordres bàsiques sense connexió. El matís principal és la limitació de recursos: els dispositius de la vora tenen menys memòria i capacitat de còmput, per la qual cosa solen emprar-se models optimitzats mitjançant tècniques com la quantització o la poda.