Vidéos overclocking.com

La veille de Noël, Groq annonçait un accord de licence non exclusif avec NVIDIA, sur sa technologie d’inférence en intelligence artificielle. Le communiqué, très court, aurait pu presque passer inaperçu si l’ampleur du deal (on évoque 20 milliards de $ en cash) n’avait pas titillé les marchés financiers et commencé à alimenter les spéculations. Mais avant de rentrer dans le vif du sujet, plantons le décor.

C’est qui, c’est quoi Groq ?

Disons le tout de suite, si vous voulez comprendre rapidement, il est souhaitable que vous ne confondiez pas Groq avec Grok (l’IA d’Elon Musk).

Groq est une entreprise américaine fondée en 2016 par Jonathan Ross, l’un des créateurs du premier TPU chez Google où il a passé près de 4 ans. Groq a conçu une gamme d’accélérateurs nommés GroqChip. Ces derniers sont catégorisés comme LPU (Language Processing Unit) et ont été pensés dès le départ pour l’inférence en intelligence artificielle, plutôt que pour le traitement graphique. Fabriqués en 14 nm par GlobalFoundries, ces puces priorisent la diminution du délai par token et l’amélioration du coût par demande dans les tâches liées aux modèles de langage à grande échelle (LLM). Ce gain de temps est obtenu grâce à une architecture plus épurée que celle des GPU Nvidia, mais optimisée pour des opérations tensorielles massives en précision réduite.

Autour de ces composants, Groq met à disposition une infrastructure intégrée : des cartes PCIe Gen4, des serveurs GroqNode au format 4U intégrant des CPU AMD Epyc et un boîtier dédié aux accélérateurs. Le tout est géré via le kit de développement Groqware, qui inclut un compilateur, des interfaces API et des instruments d’analyse, permettant d’adapter des