La puce accélératrice géante de Cerebras motorisera les IA d’AWS

CEREBRAS ET AWS : UNE ALLIANCE POUR BOOSTER LES IA GÉNÉRATIVES
L'hyperscaler américain AWS va intégrer la puce accélératrice géante WSE-3 de Cerebras dans ses services d'IA. Cette puce, d'une puissance de 125 pétaflops, sera utilisée en combinaison avec les puces Trainium3 d'AWS pour proposer des IA génératives plus rapides. La répartition des calculs entre les deux composants, appelée inférence désagrégée, est inédite et permettra d'offrir des IA cinq fois plus rapides.

Inférence désagrégée : le principe consiste à découper les calculs pour que leurs fonctions s'exécutent sur le circuit le plus optimal. Les puces Trainium3 d'AWS serviront à encoder les questions des utilisateurs, tandis que le WSE-3 générera les résultats à partir des connaissances pointées par les vecteurs du prompt.

Puce WSE-3 : cette puce est si grande qu'elle occupe la moitié de la hauteur d'un serveur 16U. Elle intègre 900 000 cœurs et 44 Go de mémoire cache, et sa puissance de calcul est de 125 pétaflops en précision 16 bits. La puce est refroidie avec une eau qui doit entrer dans le serveur à 20°C et un débit de 100 litres par minute.

La fonction d'inférence désagrégée sera disponible au sein du portail de services d'IA Bedrock d'AWS. Les IA génératives compatibles seront celles de la famille Nova, une sélection de LLM ouverts et, surtout, ChatGPT.

L'alliance entre Cerebras et AWS devrait permettre de booster les IA génératives et de proposer des services plus rapides et plus performants. La puce WSE-3 de Cerebras est un élément clé de cette alliance, et son intégration dans les services d'IA d'AWS devrait avoir un impact significatif sur le marché de l'IA.

---

Source : LeMagIT​