Vidéos overclocking.com
Pour exécuter un modèle d’intelligence artificielle localement dans de bonne condition, il faut un CPU équipé d’un bon NPU. C’est ce que proposent les processeurs mobiles récents d’Intel et d’AMD avec des NPU atteignant les 60 TOPS. L’autre solution est de disposer d’une carte graphique performante, auquel cas la consommation augmente. Et il y a une troisième solution, celle d’Unigen et de son accélérateur Amaretti E1.S au format M.2 !
Amaretti E1.S : 60 TOPS de puissance en IA, le tout, au format M.2 ! La fiche technique :
Dans les grandes lignes, cet accélérateur IA est véritablement compact puisqu’il prend place sur un PCB, le tout au format M.2 ou E1.S. L’ensemble se dote d’une partie calcul SAKYRA-II d’EdgeCortix tandis que l’on y retrouve un total de 16 ou 32 Go de RAM de type LPDDR4X. Un cache SRAM de 20 Mo est aussi intégré et nous retiendrons une bande passante mémoire de 68 Go/s. La consommation est également très faible puisque l’on parle de seulement 8 à 10W.
Au niveau des performances, l’ensemble affiche 60 TOPS en INT8 et 30 TOPS en BF16. Le module prend également en charge les framework TensorFlow, PyTorch, OMNX ou encore Hugging Face. Unigen annonce aussi la prise en charge de LLM gérant jusqu’à 20 milliards de paramètres dans sa configuration 32 Go.
Une solution pratique et peu énergivore !
Avec ce module, Unigen nous propose une solution compacte et peu consommatrice. Si vous souhaitez faire tourner des modules d’IA localement dans une machine compacte dépourvue de GPU, c’est un choix à considérer. On vante aussi ses capacités dans des environnements serveur où l’on parle de performances atteignant les 1920 TOPS en inférence lorsque monté sur une configuration