Nibi
Jump to navigation
Jump to search
| Disponibilité : Printemps de 2025 |
| Nœud de connexion : à déterminer |
| Point de chute Globus : à déterminer |
| Nœud de copie (rsync, scp, sftp, etc.) : à déterminer |
| Portail : à déterminer |
Dans la langue anishinaabe, Nibi est un terme qui désigne l'eau. Cette nouvelle grappe polyvalente remplacera Graham d'ici au 1er juillet 2025. Conçue par Hypertec et hébergée et exploitée par SHARCNET à l'Université de Waterloo, la grappe possède 134 400 cœurs CPU et 288 GPU NVIDIA H100.
Installation et transition
Le centre de données qui héberge la nouvelle grappe doit être rénové. En raison de contraintes d'alimentation en électricité et de capacité de refroidissement, la grappe Graham sera grandement diminuée. Ceci nous permettra d'effectuer les tests et la transition vers Nibi.
Stockage
Stockage parallèle : 25Po, SSD flash de VAST Data pour /home, /project et /scratch.
Interconnexion
- ethernet Nokia, 200/400G
- bande passante pour nœuds CPU, 200Gbit/s
- bande passante non blocante pour tous les nœuds GPU Nvidia, 400Gbit/s
- bande passante pour tous les nœuds GPU AMD, 200Gbit/s
- connexion aux nœuds de stockage VAST, 24x100Gbit/s
- liaisons montantes (uplinks) pour tous les nœuds, 400Gbit/s; blocage 2:1
Caractéristiques des nœuds
| nœuds | cœurs | mémoire disponible | CPU | GPU |
|---|---|---|---|---|
| 700 | 192 | 768GB DDR5 | 2 x Intel 6972P @ 2.4 GHz, cache L3 384Mo | |
| 10 | 192 | 6TB DDR5 | 2 x Intel 6972P @ 2.4 GHz, cache L3 384Mo | |
| 36 | 192 | 1.5TB | 1 x Intel 8570 @ 2.1 GHz, cache L3 300Mo | 8 x Nvidia H100 SXM (mémoire de 80Go) |
| 6 | 96 | 512GB | 4 x AMD MI300A @ 2.1 GHz | 4 x AMD CDNA 3 (mémoire HBM3 de 128 Go - modèle d'accès uniforme) |