Other languages:

English
français

Disponible depuis avril 2018
Nœud de connexion : niagara.computecanada.ca
Point de chute Globus : computecanada#niagara
Nœuds de copie (rsync, scp, ...) : nia-dm2, nia-dm2, voir Déplacer des données
État : https://docs.scinet.utoronto.ca

Niagara est une grappe homogène, propriété de l'Université de Toronto, et opérée par SciNet. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.

En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans Niagara ː Guide de démarrage.

Cette grappe fait partie des ressources allouées dans le cadre du concours 2018; les allocations sont en vigueur depuis le 4 avril 2018.

Vidéo ː Présentation de Niagara au SciNet User Group Meeting du 14 février 2018

Vidéo ː Installation du matériel

Spécifications techniques

1500 nœuds avec chacun 40 cœurs Skylake 2.4GHz d'Intel, pour un total de 60 000 cœurs
mémoire vive de 202Go (188 Gio) par nœud
réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly+
espace scratch de 6Po, espace projet de 3Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation GPFS)
mémoire tampon d'accès en rafale (burst buffer) de 256To, Excelero + Spectrum Scale d'IBM
aucun disque local
aucun GPU
Rpeak de 4.61Pflops
Rmax de 3.0Pflops
consommation électrique 685 kW

Stockage

espace home volume total 200To système de fichiers parallèle (Spectrum Scale d'IBM)	sauvegardé sur bandes persistant
espace scratch 7Po (~100Go/s en écriture; ~120Go/s en lecture) système de fichiers parallèle (Spectrum Scale d'IBM)	les données inactives sont purgées
*mémoire tampon d'accès en rafale (burst buffer)* 232To (~90Go/s en écriture; ~154Go/s en lecture) système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM)	les données inactives sont purgées
espace projet 2Po (~100Go/s en écriture; ~120Go/s en lecture) système de fichiers parallèle haute performance (Spectrum Scale d'IBM)	sauvegardé sur bandes alloué via le concours d'allocation de ressources persistant
espace archive volume total 10Po stockage haute performance (HPSS d'IBM)	HSM sauvegardé sur bandes alloué via le concours d'allocation de ressources persistant

Réseautique haute performance

La grappe Niagara offre un réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly̝+ de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes.

Caractéristiques des nœuds

CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud
Puissance de calcul : 3 TFlops (pointe théorique maximale)
Connexion réseau : 100Go/s EDR Dragonfly̟
Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur
Disque local : aucun
GPU/accélérateurs ː aucun
Système d'exploitation : Linux, CentOS 7

Ordonnancement

L'ordonnancement des tâches se fait avec Slurm et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː

L'ordonnancement se fait seulement par nœud; les tâches doivent toujours demander des multiples de 40 cœurs par tâche.
Il n'est pas nécessaire et non recommandé de demander une quantité spécifique de mémoire; la quantité de mémoire est égale pour chacun des nœuds (202Go/188Gio moins la mémoire utilisée par le système d'exploitation)

Les détails d'utilisation seront communiqués dès que disponibles.

Logiciel

Les logiciels sont installés à partir de modules.
Les logiciels usuels sur les grappes de Calcul Canada ainsi que les logiciels spécifiques à Niagara sont disponibles.
Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans Niagara Quickstart.

Accès

L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte Calcul Canada, mais si vous détenez un compte, l'accès peut être activé. Si vous n'avez pas encore accès (par exemple parce que vous êtes un nouvel utilisateur SciNet et que vous appartenez à un groupe dont le chercheur principal ne dispose d'aucune allocation de ressources par suite d'un concours), demandez un compte SciNet via la CCDB.

Si vous avez besoin d'assistance, n'hésitez pas à nous contacter.

Guide de démarrage

Veuillez lire attentivement la page Niagara ː Guide de démarrage.