NPU (Unité de traitement neuronal)

Une NPU (Neural Processing Unit, unité de traitement neuronal) est une puce —ou un bloc au sein d'un processeur— conçue spécifiquement pour exécuter les calculs propres à l'intelligence artificielle, surtout les multiplications de matrices qui soutiennent les réseaux neuronaux. Contrairement à un CPU (usage général) ou à un GPU (né pour le graphisme puis adapté à l'IA), la NPU est optimisée dès la conception pour l'inférence de modèles : elle réalise ces opérations de manière massivement parallèle avec une consommation énergétique bien moindre. Sa performance brute s'exprime généralement en TOPS (milliers de milliards d'opérations par seconde).

Sa pertinence pratique est directe : elle rend possible l'exécution de l'IA en local —sur un ordinateur portable, un mobile, un appareil edge ou un serveur dans les locaux de l'entreprise— sans dépendre du cloud. Pour une organisation, cela se traduit par une latence réduite, un coût par inférence plus faible et, surtout, la souveraineté de la donnée : les modèles et l'information ne quittent pas physiquement la maison.

Les 5 meilleures unités NPU de 2026 et 2027

En 2026–2027, le marché s'est organisé en une échelle claire, de la poche au datacenter. Ces cinq références la couvrent entièrement.

1. Tiiny AI Pocket Lab — IA personnelle de poche

Présenté au CES 2026, le Pocket Lab de Tiiny AI concentre en 300 grammes un CPU ARM v9.2 à 12 cœurs, une NPU discrète d'environ 160 TOPS (plus ~30 TOPS dans le SoC), 80 Go de LPDDR5X et 1 To de SSD. Il exécute des LLM allant jusqu'à 120 milliards de paramètres entièrement hors ligne, avec un déploiement en un clic de modèles ouverts (GPT-OSS, Llama, Qwen, Mistral), pour environ 1 400 €.

2. NVIDIA Jetson AGX Orin / Thor — le standard embarqué

En robotique, vision par ordinateur et industrie, la famille Jetson de NVIDIA reste la référence : jusqu'à 275 TOPS dans l'AGX Orin et un saut générationnel avec Thor pour les machines autonomes. Son avantage ne réside pas seulement dans le silicium, mais dans l'écosystème logiciel le plus mature du marché (CUDA, TensorRT, Isaac).

3. Hailo-10H — IA générative en edge avec 3 watts

La Hailo-10H délivre 40 TOPS INT8 avec 8 Go de RAM dédiée pour une consommation de ~3 W. Disponible en modules M.2, USB et comme cerveau du Raspberry Pi AI HAT+ 2, elle apporte les petits LLM et les modèles de vision à des appareils où seul un microcontrôleur tenait auparavant. C'est aujourd'hui le rapport TOPS/watt à battre dans l'edge.

4. Axelera Metis — vision industrielle à 214 TOPS

L'entreprise européenne Axelera AI s'attaque à la vision industrielle avec Metis, une AIPU au format M.2/PCIe qui délivre jusqu'à 214 TOPS INT8 avec 3,5–9 W et des latences inférieures à 100 ms sans solliciter la RAM du système hôte : exactement ce que demandent les lignes de production, la logistique et le contrôle qualité.

5. Qualcomm AI200 et AI250 — la NPU arrive en rack

Les accélérateurs AI200 (2026) et AI250 (2027) de Qualcomm, basés sur des NPU Hexagon à l'échelle du rack, apportent l'inférence générative au datacenter avec 768 Go de LPDDR par carte, un refroidissement liquide direct et jusqu'à 160 kW par rack ; l'AI250 ajoute du calcul near-memory avec plus de 10× la bande passante effective.

La sixième : l'unité NPU en rack de NAiOS

NAiOS Labs prépare sa propre unité personnalisée basée sur des NPU au format rack, conçue pour être installée dans ses propres datacenters et servir la modalité Dédié on-site de la plateforme : du matériel d'IA au sein de l'infrastructure du client (ou de NAiOS), avec des données toujours sous contrôle.

Comparatif rapide

10 cas d'usage généralistes

1. Assistant bureautique privé

Le cas le plus immédiat : un assistant qui rédige des e-mails, résume des rapports, prépare des propositions et répond aux questions internes en s'exécutant entièrement au sein de l'entreprise. Avec une NPU de milieu de gamme, il suffit de servir un modèle de 7–14B de paramètres à des dizaines d'employés avec des latences inférieures à la seconde. La différence par rapport à un service cloud ne réside pas seulement dans la facture mensuelle, qui disparaît, mais dans le fait que les brouillons de contrats, les chiffres d'affaires et les communications sensibles ne sortent jamais du périmètre de l'entreprise. Pour les départements qui manipulent quotidiennement des informations confidentielles — direction, finance, ressources humaines — c'est la voie la plus courte pour adopter l'IA générative sans ouvrir un nouveau front de conformité ni dépendre de la politique de rétention des données d'un tiers.

2. Recherche sémantique et RAG sur la documentation interne

Toute organisation accumule des manuels, des comptes rendus, des contrats, des wikis et des e-mails que personne ne retrouve quand on en a besoin. Un système RAG (génération augmentée par récupération) indexe ces connaissances avec des embeddings et répond aux questions en langage naturel en citant les sources. C'est un cas idéal pour les NPU car il combine deux charges légères et constantes : vectoriser les documents à mesure qu'ils arrivent et générer des réponses courtes à la demande. Une équipe peut demander « quelle garantie avons-nous signée avec ce fournisseur en 2024 ? » et obtenir la clause exacte en quelques secondes, sans que ni la question ni le contrat ne transitent par des serveurs tiers. L'investissement matériel est rapidement amorti : les connaissances internes ne sont plus enfouies et le coût par requête est pratiquement nul une fois déployé.

3. Service client avec des chatbots privés

Un chatbot de support qui connaît le catalogue, les politiques de retour et l'historique des incidents peut traiter 60–80 % des demandes répétitives sans intervention humaine. L'exécuter sur vos propres NPU change l'économie du cas : le coût marginal par conversation est nul, il peut donc être proposé sur le Web, sur WhatsApp et par téléphone sans surveiller le compteur de tokens. De plus, les données clients — commandes, adresses, réclamations — sont traitées sur votre propre infrastructure, ce qui simplifie la conformité au RGPD et évite les transferts internationaux de données. Avec de petits modèles affinés sur les conversations historiques de l'entreprise, la qualité perçue rivalise avec des solutions cloud beaucoup plus coûteuses, et le passage à l'échelle lors des pics de campagne consiste simplement à ajouter une carte supplémentaire.

4. Transcription et comptes rendus de réunions

Les modèles de reconnaissance vocale modernes fonctionnent à merveille sur des NPU modestes : une Hailo-10H ou le NPU d'un ordinateur portable récent transcrivent en temps réel avec une précision professionnelle. Le flux complet — transcrire la réunion, identifier les intervenants, extraire les décisions et les tâches, rédiger le compte rendu et l'envoyer — peut être entièrement automatisé en local. C'est important car les réunions comptent parmi les éléments les plus sensibles produits par une entreprise : on y parle de licenciements, de prix, de stratégie et de clients nommément cités. Télécharger cet audio vers un service externe est un risque que de nombreux comités de direction ne souhaitent pas assumer ; le traiter dans la salle, littéralement sur l'appareil qui enregistre, élimine ce risque à la racine et transforme chaque réunion en connaissance consultable.

5. Traduction d'entreprise multilingue

Pour les entreprises opérant sur plusieurs marchés, la traduction est un flux constant : fiches produits, contrats, support, documentation technique. Les modèles de traduction actuels s'intègrent aisément dans un NPU de bureau et produisent une qualité professionnelle pour les paires de langues habituelles. Les exécuter en local permet de traduire des documents confidentiels — contrats en cours de négociation, brevets, offres — sans les exposer à des services externes, et de le faire par lots massifs sans coût par mot. Chez NAiOS, nous le vivons de première main : notre propre moteur traduit automatiquement le blog et le site web en quatre langues. Combiné à des glossaires de terminologie d'entreprise, le résultat préserve la voix de la marque et la cohérence technique que les traducteurs génériques dans le cloud ne garantissent pas.

6. Business intelligence conversationnelle

Demander « comment évoluent les ventes de la zone est par rapport à l'objectif du trimestre ? » et recevoir la réponse accompagnée de son graphique, au lieu d'attendre que quelqu'un conçoive le tableau de bord, est le saut qualitatif que l'IA générative apporte à la BI. Un modèle local ayant accès à la base de données analytique traduit le langage naturel en SQL, exécute la requête et explique le résultat. Que cela se produise sur vos propres NPU est presque obligatoire : les données financières et commerciales agrégées sont le joyau de la couronne, et aucun responsable des données ne souhaite les envoyer à une API externe requête après requête. Avec une unité de type Pocket Lab ou un serveur edge, chaque dirigeant dispose d'un analyste disponible 24h/24 qui, de plus, ne laisse jamais fuiter d'informations.

7. Copilote de programmation en local

Les assistants de code sont désormais l'outil de productivité standard en développement, mais l'envoi du dépôt à un tiers est inacceptable pour la banque, la défense, la santé ou toute entreprise possédant une propriété intellectuelle précieuse dans ses logiciels. Les modèles de code open source de 7 à 30 milliards de paramètres offrent l'autocomplétion, la génération de tests et l'explication de code avec une qualité très compétitive, et un NPU doté d'une mémoire suffisante — le Pocket Lab avec ses 80 Go, un Jetson bien dimensionné — les met au service de toute une équipe de développement. Le copilote connaît le code propriétaire sans que celui-ci ne quitte le bâtiment, peut être affiné selon les conventions internes de l'équipe et fonctionne aussi bien au bureau que dans un environnement isolé sans accès à Internet.

8. Automatisation documentaire : OCR et extraction

Factures, bons de livraison, cartes d'identité, fiches de paie, formulaires : la bureaucratie d'entrée de toute entreprise. La combinaison de l'OCR moderne et des modèles de langage avec vision permet de lire le document, de le classer, d'en extraire les champs pertinents et de les intégrer dans l'ERP sans modèles rigides, en tolérant des formats inédits. C'est une charge de travail parfaite pour les NPU car le volume est élevé mais chaque document est petit, et le traitement par lots nocturne tire parti du matériel qui sert à d'autres cas durant la journée.

L'étape suivante après le chatbot est l'agent : une IA qui ne se contente pas de répondre mais qui exécute — elle traite l'enregistrement d'un fournisseur, rapproche un paiement, prépare l'onboarding d'un employé — en enchaînant les appels aux systèmes internes. C'est précisément parce qu'il interagit avec l'ERP, le CRM et les bases de données avec des droits d'écriture qu'il s'agit du cas où l'exécution locale prend tout son sens : les identifiants et les données opérationnelles ne quittent jamais le réseau de l'entreprise, et chaque action est auditée sur votre propre infrastructure. Un NPU dédié garantit en outre des latences stables pour des flux comprenant des dizaines d'étapes. C'est le terrain naturel de plateformes comme NAiOS : des agents avec un accès gouverné aux outils de l'entreprise, fonctionnant sur du matériel que l'entreprise contrôle.

10 cas d'usage de niche

1. Inspection visuelle sur ligne de production

Dans le secteur de la fabrication, détecter un défaut millimétrique à la vitesse de la ligne exige une inférence en millisecondes : il n'y a pas de temps pour faire l'aller-retour vers le cloud. Un NPU industriel de type Axelera Metis analyse des centaines de pièces par minute à côté de la caméra elle-même, détectant des fissures, des bavures, des soudures froides ou des étiquettes mal imprimées avec une précision supérieure à l'inspection humaine et sans fatigue. Le modèle est entraîné avec vos propres pièces et s'améliore avec chaque nouveau défaut étiqueté. L'impact est double : moins de produits défectueux parviennent au client et la traçabilité de la qualité est documentée automatiquement. Pour les usines dotées de lignes anciennes, le rétrofit est abordable : une caméra industrielle, un module M.2 et un PC embarqué suffisent pour doter de vision une ligne des années 90.

2. Maintenance prédictive en usine

Vibrations, température, consommation électrique, son : les machines préviennent avant de tomber en panne, mais il faut les écouter en continu. Des modèles légers de séries temporelles fonctionnant sur des NPU à basse consommation à côté du capteur détectent la dérive d'un roulement ou la cavitation d'une pompe des semaines avant la panne, lorsque la réparation est encore peu coûteuse et programmable. Le traitement en périphérie (edge) est essentiel car le volume de données brutes des capteurs est ingérable pour tout envoyer vers le cloud, et parce que de nombreuses usines ont une connectivité limitée ou sont directement isolées pour des raisons de sécurité OT. Le résultat se mesure en arrêts non planifiés évités : dans les industries à processus continu, un seul arrêt évité rentabilise plusieurs fois tout le déploiement matériel.

3. Aide au diagnostic médical en périphérie

Dans le secteur de la santé, les données des patients constituent la catégorie la plus protégée qui soit, et la latence peut avoir une incidence clinique : un échographe qui met en évidence des structures en temps réel, une analyse de la rétine lors de la consultation même, la priorisation des radiographies urgentes dans le PACS de l'hôpital. Les NPU permettent d'exécuter ces modèles certifiés au sein du dispositif médical ou du centre de données hospitalier, sans qu'aucune image ne quitte l'établissement, ce qui simplifie radicalement la conformité au RGPD et au règlement relatif aux dispositifs médicaux. Pour la santé rurale et les ONG médicales, un appareil portable doté d'une NPU apporte une capacité de diagnostic de référence aux cabinets médicaux dépourvus de connectivité fiable. Elle ne remplace pas le médecin : elle lui apporte un second avis expert au point d'intervention.

4. Agriculture de précision

Un drone survolant la parcelle ou un tracteur équipé de caméras multispectrales génèrent des gigaoctets par heure qui ne peuvent être transmis via la couverture mobile des champs. Avec une NPU embarquée — un Jetson est le standard de facto — l'analyse s'effectue en vol : détection du stress hydrique, comptage des plantes, identification des parasites et des mauvaises herbes plante par plante. Cela permet l'application sélective de produits phytosanitaires, réduisant l'utilisation de produits chimiques jusqu'à des pourcentages à deux chiffres, avec les économies et les bénéfices environnementaux que cela implique. Pour les coopératives et les exploitations de taille moyenne, le même matériel sert campagne après campagne, et les cartes de vigueur et de rendement accumulées deviennent un actif agronomique propre qu'aucun fournisseur externe ne détient.

5. Analyse en magasin physique

Le commerce en ligne sait tout de ses visiteurs ; le magasin physique, presque rien. Des caméras dotées de NPU de vision rétablissent l'équilibre de manière anonyme : flux d'entrée, parcours, zones chaudes, files d'attente dépassant le seuil, rayons en rupture de stock. Tout est traité en périphérie (edge) et seules des métriques agrégées sont transmises, sans identifier les personnes ni stocker d'images, ce qui maintient le système dans le cadre sécurisé du RGPD. Le retail opère avec des marges réduites et des dizaines ou des centaines de points de vente : le fait que chaque magasin n'ait besoin que d'un petit équipement avec NPU, sans coûts de cloud récurrents par caméra, rend économiquement viable ce qui ne l'était pas avec un traitement à distance. Les décisions d'agencement, de personnel et de réapprovisionnement passent de l'intuition à la donnée.

6. ADAS et gestion de flottes

Les systèmes avancés d'aide à la conduite sont le cas extrême de latence : freiner devant un piéton ne permet pas d'aller-retour vers le serveur. Les NPU embarquées — avec Jetson Thor comme référence du haut de gamme — traitent les caméras, le radar et le lidar dans le véhicule même avec des décisions en millisecondes. Pour les flottes commerciales, le même matériel ajoute de la valeur opérationnelle : détection de la fatigue et de la distraction du conducteur, enregistrement intelligent des incidents qui ne conserve que les secondes pertinentes, et coaching de conduite efficiente. Pour une entreprise de transport, cela se traduit par une baisse de la sinistralité, des primes d'assurance renégociables grâce aux données et des économies de carburant. La vidéo de cabine, particulièrement sensible, ne quitte pas le véhicule sauf en cas d'événement justifié.

7. Robotique collaborative

Un cobot partageant l'espace avec des personnes doit percevoir et réagir en temps réel : voir la main qui envahit sa zone, ajuster la force, replanifier la trajectoire. Cette perception repose sur des NPU embarquées dans le robot lui-même, car la sécurité fonctionnelle ne peut dépendre du Wi-Fi de l'entrepôt. La nouvelle génération de modèles de manipulation — des politiques visuomotrices entraînées par démonstration — permet en outre de reprogrammer le cobot en lui enseignant la tâche au lieu de la programmer, et l'exécution de ces politiques exige précisément le type d'inférence dense et efficiente qu'offre une NPU. Pour les PME industrielles, la combinaison cobot plus NPU réduit le coût de l'automatisation des tâches de picking, d'assemblage et de palettisation qui n'étaient auparavant rentables que pour les grandes séries.

8. Opérations en environnements isolés

Navires en haute mer, plateformes et usines oil & gas, mines souterraines, installations de défense : des environnements où la connectivité est coûteuse, intermittente ou interdite par les politiques de sécurité. Là, l'IA s'exécute en local ou n'existe pas. Des NPU durcies permettent de déployer la vision de sécurité, la maintenance prédictive, des assistants techniques avec la documentation de l'usine et l'analyse des capteurs sur le site même, en ne synchronisant avec la terre que des résumés lorsqu'une fenêtre de communication est disponible. Un assistant répondant aux questions sur les manuels de tous les équipements à bord, sans Internet, change le mode opératoire d'un chef mécanicien. C'est également le cas où le matériel doté de certifications de température, de vibration et d'étanchéité justifie son surcoût.

9. Sectores con secreto profesional

Cabinets d'avocats, cabinets d'audit, banque privée, notaires : des professions où la confidentialité n'est pas une préférence mais une obligation déontologique et légale. Pour elles, l'envoi de documents clients vers une API externe est, dans de nombreux cas, tout simplement inenvisageable, quel que soit le niveau de chiffrement du transfert. Une unité NPU au sein du cabinet — de la taille d'un livre — permet l'analyse de contrats, la due diligence assistée, la recherche jurisprudentielle sémantique sur ses propres archives et la rédaction de brouillons, le tout sans qu'un seul document ne franchisse la porte. L'argument commercial est puissant : le cabinet peut garantir par écrit à ses clients que leurs informations n'ont jamais quitté ses installations. L'IA cesse d'être un risque réputationnel pour devenir un facteur de différenciation.

10. Villes intelligentes et trafic

La gestion urbaine moderne s'appuie sur des milliers de caméras et de capteurs dont la transmission continue vers un centre de données central est extrêmement coûteuse et pose des risques évidents en matière de confidentialité. Le modèle gagnant est le traitement en périphérie : des NPUs installées directement dans les armoires de signalisation analysent les flux, détectent les incidents, ajustent les feux de manière adaptative, priorisent les urgences et comptabilisent les modes de transport — voiture, vélo, piéton — en n'envoyant au centre de contrôle que