Niagara

Disponibilité prévue : Tests et configuration en mars 2018. Disponibilité en avril 2018 des ressources allouées dans le cadre du concours 2018.

Niagara est une grappe homogène propriété de l'Université de Toronto et opérée par SciNet. Capable d'accommoder les tâches parallèles de 1024 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.

En général, l'environnement est semblable à celui de Cedar ou Graham. En date de février 2018, le travail de configuration est toujours en cours et les directives particulières d'utilisation restent à venir.

Cette grappe fait partie des ressources allouées dans le cadre du concours 2018; les allocations entrent en vigueur le 4 avril 2018.

Vidéo ː Présentation de Niagara au SciNet User Group Meeting du 14 février 2018

Vidéo ː Installation du matériel

Spécifications techniques

• 1500 nœuds avec chacun 40 cœurs Skylake 2.4GHz d'Intel, pour un total de 60 000 cœurs
• mémoire vive de 202Go (188 GiB) par nœud
• réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly+
• espace scratch de 5Po, espace projet de 5+2Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation GPFS)
• tampon de mémoire en rafale (burst buffer) de 256To, Excelero + Spectrum Scale d'IBM
• aucun disque local
• Rpeak de 4.61Pflops
• Rmax de 3.0Pflops
• consommation électrique 685 kW

Stockage

espace home système de fichiers parallèle (Spectrum Scale d'IBM)	emplacement des répertoires home disponible par la variable d'environnement $HOME chaque répertoire home a un petit quota fixe non alloué, quantité standard pour chaque utilisateur (utiliser espaces scratch ou projet pour plus de stockage) copies de sauvegarde quotidienne
espace scratch volume total 5Po système de fichiers parallèle (Spectrum Scale d'IBM)	pour stockage (/scratch) actif ou temporaire (~ 80Go/s) disponible par la variable d'environnement $SCRATCH non alloué grand quota fixe par utilisateur et par groupe les données inactives sont purgées
mémoire tampon en rafale (burst buffer) volume total 256To système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM)	stockage rapide en cours d'exécution, 160Go/s, IOPS (input/output operations per second) très élevé purge très fréquente des données (peu de temps après la fin de la tâche) non alloué
espace projet volume total (5̟2)Po stockage externe persistant	alloué via le concours d'allocation de ressources disponible par la variable d'environnement $PROJECT quota par utilisateur et par projet copie de sauvegarde
espace archive volume total 10Po stockage haute performance (HPSS d'IBM)	alloué via le concours d'allocation de ressources espace nearline disponible pour les grands jeux de données qui doivent utiliser des ressources autres que les systèmes de fichiers actifs disponible par la variable d'environnement $ARCHIVE grand quota fixe par groupe copie de sauvegarde en double sur bandes

Réseautique haute performance

Le réseau de Niagara est de type InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly̝+ de quatre ailes. Les ailes (375 nœuds chacune) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion dans le réseau.

Node characteristics

• CPU: 2 sockets with 20 Intel Skylake cores (2.4GHz, AVX512), for a total of 40 cores per node
• Computational perfomance: 3 TFlops (theoretical maximum)
• Network connection: 100Gb/s EDR
• Memory: 202 GB (188 GiB) GB of RAM, i.e., a bit over 4GiB per core.
• Local disk: none.
• Operating system: Linux CentOS 7

Ordonnancement

The Niagara system will use the Slurm scheduler to run jobs. The basic scheduling commands will therefore be similar to those for Cedar and Graham, with a few differences:

• Scheduling will be by node only. This means jobs will always need to use multiples of 40 cores per job.
• Asking for specific amounts of memory will not be necessary and is discouraged; all nodes have the same amount of memory (202GB/188GiB minus some operating system overhead).

Details, such as how to request burst buffer usage in jobs, are still being worked out.

Logiciel

• Module-based software stack.
• Both the standard Compute Canada software stack as well as system-specific software tuned for the system will be available.
• Different from Cedar and Graham, no modules will be loaded by default to prevent accidental conflicts in versions. There will be a simple mechanism to load the software stack that a user would see on Graham and Cedar.