Agrandir / Le Cerebras Andromeda, un supercalculateur IA de 13,5 millions de cœurs.
Lundi, Cerebras Systems a dévoilé son supercalculateur Andromeda AI de 13,5 millions de cœurs pour l’apprentissage en profondeur, rapporte Reuters. Selon Cerebras, Andromeda fournit plus d’un 1 exaflop (1 quintillion d’opérations par seconde) de puissance de calcul d’IA à une demi-précision de 16 bits.
L’Andromeda est lui-même un cluster de 16 ordinateurs Cerebras C-2 reliés entre eux. Chaque CS-2 contient une puce Wafer Scale Engine (souvent appelée “WSE-2”), qui est actuellement la plus grande puce de silicium jamais fabriquée, d’environ 8,5 pouces carrés et dotée de 2,6 billions de transistors organisés en 850 000 cœurs.
Cerebras a construit Andromeda dans un centre de données à Santa Clara, en Californie, pour 35 millions de dollars. Il est adapté à des applications telles que les grands modèles de langage et a déjà été utilisé pour des travaux universitaires et commerciaux. “Andromeda offre une mise à l’échelle presque parfaite via un simple parallélisme des données sur les grands modèles de langage de classe GPT, notamment GPT-3, GPT-J et GPT-NeoX”, écrit Cerebras dans un communiqué de presse.
Agrandir / La puce Cerebras WSL2 mesure environ 8,5 pouces carrés et contient 2,6 billions de transistors.
Cérébras
Publicité
L’expression “mise à l’échelle presque parfaite” signifie que, à mesure que Cerebras ajoute plus d’unités informatiques CS-2 à Andromeda, le temps de formation sur les réseaux de neurones est réduit dans une “proportion presque parfaite”, selon Cerebras. En règle générale, pour faire évoluer un modèle d’apprentissage en profondeur en ajoutant plus de puissance de calcul à l’aide de systèmes basés sur GPU, on peut voir des rendements décroissants à mesure que les coûts du matériel augmentent. De plus, Cerebras affirme que son supercalculateur peut effectuer des tâches que les systèmes basés sur GPU ne peuvent pas :
Le travail impossible du GPU a été démontré par l’un des premiers utilisateurs d’Andromeda, qui a atteint une mise à l’échelle presque parfaite sur GPT-J à 2,5 milliards et 25 milliards de paramètres avec de longues longueurs de séquence – MSL de 10 240. Les utilisateurs ont tenté de faire le même travail sur Polaris, un cluster de 2 000 Nvidia A100, et les GPU n’ont pas pu faire le travail en raison des limitations de la mémoire GPU et de la bande passante mémoire.”
Reste à savoir si ces affirmations résistent à un examen externe, mais à une époque où les entreprises forment souvent des modèles d’apprentissage en profondeur sur des grappes de plus en plus grandes de GPU Nvidia, Cerebras semble proposer une approche alternative.
Comment Andromeda se compare-t-il aux autres supercalculateurs ? Actuellement, le plus rapide au monde, Frontier, réside à Oak Ridge National Labs et peut fonctionner à 1,103 exaflops en double précision 64 bits. Cet ordinateur a coûté 600 millions de dollars à construire.
L’accès à Andromeda est maintenant disponible pour une utilisation à distance par plusieurs utilisateurs. Il est déjà utilisé par l’assistant de rédaction commerciale JasperAI et le Laboratoire national d’Argonne, ainsi que par l’Université de Cambridge pour la recherche.
