TOPS (Tera Operations Per Second, biljoonaa operaatiota sekunnissa) on yksikkö, jolla mitataan tekoälykiihdyttimien raakaa suorituskykyä, erityisesti NPU-yksiköiden. "40 TOPS":n siru voi suorittaa 40 biljoonaa aritmeettista perusoperaatiota –kertolaskuja ja yhteenlaskuja, neuroverkkojen raaka-ainetta– joka sekunti. Tekoälylaitteistolle se on sama kuin hevosvoimat autolle: markkinointiluku, joka tiivistää epätäydellisesti, kuinka paljon tehoa konepellin alla on.
Miten mittaus tehdään (ja miksi lähes aina INT8-tarkkuudella)
TOPS-luku riippuu täysin siitä numeerisesta tarkkuudesta, jolla laskenta tehdään. Nykyinen päättely toimii kvantisoiduilla 8-bittisillä kokonaisluvuilla (INT8), joten juuri tuo luku valmistajat ilmoittavat. Sama pii suoriutuu INT4-tarkkuudella noin kaksinkertaisesti ja FP16-tarkkuudella noin puolet:
| Tarkkuus | Tyypillinen käyttö | Suhteellinen suorituskyky |
|---|---|---|
| INT4 | Voimakkaasti kvantisoidut LLM-mallit, suurin nopeus | ~2× INT8-luku |
| INT8 | Tavallinen kvantisoitu päättely (ilmoitettu luku) | 1× |
| FP16 | Kvantisoimattomat mallit, kevyt koulutus | ~0,5× |
| FP32 | Täysi tarkkuus, käytännössä ei koskaan NPU:issa | ~0,25× |
Eri valmistajien TOPS-lukujen vertailu tarkkuutta huomioimatta on omenoiden ja päärynöiden vertailua. Ja varo sukulaista: TFLOPS mittaa liukulukuoperaatioita (GPU:iden ja koulutuksen alue), kun taas TOPS mittaa kokonaislukuoperaatioita (NPU:iden ja päättelyn alue). Niitä ei voi vaihtaa keskenään.
Teoreettinen huippu vs. todellinen suorituskyky
TOPS-luvut ovat laboratorion enimmäisarvoja: ne olettavat, etteivät laskentayksiköt koskaan odota dataa. Käytännössä rajoittava tekijä on yleensä muistin kaistanleveys. 200 TOPS ei auta mitään, jos mallin painot eivät ehdi perille ajoissa. LLM-malleissa tämä on ratkaisevaa: siru, jossa on vähemmän TOPS-suorituskykyä mutta paljon nopeaa ja hyvin kytkettyä muistia, pystyy käsittelemään sujuvasti mallia, joka tukahduttaa nimellisesti paremman kilpailijan. Siksi Tiiny AI Pocket Lab kerskuu sekä 80 GB:n LPDDR5X-muististaan että noin 190 TOPS:staan, ja siksi Qualcomm AI250 panostaa near-memory-laskentaan, jonka tehokas kaistanleveys on 10-kertainen.
TOPS per watti: mittari, joka erottaa sukupolvet toisistaan
Energiatehokkuus on se, mikä on mahdollistanut tekoälyn siirtymisen datakeskuksesta taskuun. Hailo-10H tuottaa noin 13 TOPS per watti, Axelera Metis noin 24, ja muutama vuosi sitten yleinen pöytäkoneen GPU alle yhden. Yritykselle TOPS per watti muuttuu suoraan käyttökustannuksiksi: enemmän päättelyä jokaista sähkölaskun euroa kohden. Se on mittari, jonka varaan NAiOS Labs suunnittelee NPU-yksikköään telinemuodossa omiin datakeskuksiin.
Viitteet 2026: kuinka paljon TOPS-suorituskykyä kullakin on
| Laitteisto | TOPS (INT8) | Kulutus | Luokka |
|---|---|---|---|
| Huippuluokan mobiililaite | 35–45 | <5 W | NPU integroituna SoC-piiriin |
| Kannettava "AI PC" (Copilot+ vaatii 40) | 40–50 | ~10 W | integroitu NPU |
| Hailo-10H | 40 | ~3 W | reunamoduuli M.2/USB |
| Tiiny AI Pocket Lab | ~190 | ~30 W (TDP) | taskukokoinen mini-PC |
| Axelera Metis | 214 | 3,5–9 W | kiihdytin M.2/PCIe |
| NVIDIA Jetson AGX Orin | 275 | 15–60 W | sulautettu moduuli |
| Qualcomm AI200/AI250 | telinemittakaava | jopa 160 kW/teline | datakeskus |
Kuinka monta TOPSia käyttötapauksesi tarvitsee?
- Puheen transkriptio ja perustason näkö (kamerat, OCR): 5–15 TOPSia riittää; tämä on integroitujen NPU-yksiköiden ja reunamoduulien aluetta.
- Pienen LLM:n avustaja (7B kvantisoitu), dokumenttien RAG: 40+ TOPSia ja ennen kaikkea 8–16 Gt muistia mallille.
- Teollinen näkö linjanopeudella: 100–200 TOPSia taatulla viiveellä (Metis, Jetson).
- Keskikokoiset–suuret LLM:t paikallisesti (30B–120B): muisti ratkaisee — 48–80 Gt tai enemmän. Pocket Labin noin 190 TOPSia tukee, mutta ilman sen 80 Gt:n muistia käyttötapausta ei olisi.
- Monikäyttäjäinen generatiivinen inferenssi (kymmeniä samanaikaisia käyttäjiä): telinemittakaava. Sirukohtaisia TOPSeja ei enää lasketa, vaan tokenia sekunnissa per teline ja per watti.
Laitteiston valinnan käytännön sääntö on kolme kysymystä yhdessä: pystyykö laite malliin (TOPSit)? Mahtuuko malli (muisti)? Mihin hintaan (TOPSia/watti)? Saat kokonaiskuvan yksiköistä NPU-sivulta ja analyysin blogiartikkelistamme.