Narval/en: Difference between revisions
No edit summary |
No edit summary |
||
| Line 19: | Line 19: | ||
Crontab is not offered on Narval. | Crontab is not offered on Narval. | ||
Each job on Narval should have a duration of at least one hour (five minutes for test jobs) and you cannot have more than 1000 jobs, running and queued, at any given moment. The maximum duration for a job on Narval is 7 days (168 hours). | Each job on Narval should have a duration of at least one hour (five minutes for test jobs) and you cannot have more than 1000 jobs, running and queued, at any given moment. The maximum duration for a job on Narval is 7 days (168 hours). | ||
=Storage= | =Storage= | ||
Revision as of 16:51, 5 October 2021
| Availability: October, 2021 |
| Login node: To be announced |
| Globus endpoint: To be announced |
| Data transfer node (rsync, scp, sftp,...): To be announced |
Narval is a general purpose cluster designed for a variety of workloads; it is located at the École de technologie supérieure in Montreal. The cluster is named in honour of the narwhal, a species of whale which has occasionally been observed in the Gulf of St. Lawrence.
Site-specific policies
By policy, Narval's compute nodes cannot access the internet. If you need an exception to this rule, contact technical support with information about the IP address, port number(s) and protocol(s) needed as well as the duration and a contact person.
Crontab is not offered on Narval.
Each job on Narval should have a duration of at least one hour (five minutes for test jobs) and you cannot have more than 1000 jobs, running and queued, at any given moment. The maximum duration for a job on Narval is 7 days (168 hours).
Storage
| HOME Lustre filesystem, ~100 TB of space |
|
| SCRATCH Lustre filesystem, ~5 PB of space |
|
| PROJECT Lustre filesystem, ~15 PB of space |
|
For transferring data via Globus, you should use the endpoint specified on top of the actual page, while for tools like rsync and scp you can use a login node.
High-performance interconnect
The InfiniBand Mellanox HDR network links together all of the nodes of the cluster. Each hub of 40 HDR ports (200 Gb/s) can connect up to 66 nodes with HDR100 (100 Gb/s) with 33 HDR links divided in two (2) by special cables. The seven (7) remaining HDR links allow the hub to be connected to a rack containing the seven (7) cental HDR InfiniBand hubs. The islands of nodes are therefore connected by a maximum blocking factor of 33:7 (4.7:1). In contrast, the storage servers are connected by a much lower blocking factor in order to maximize the performance.
In practice the Narval racks contain islands of 48 or 56 regular CPU nodes. It is therefore possible to run parallel jobs using up to 3584 cores with a non-blocking network. For larger jobs or ones which are distributed in a fragmented manner across the network, the blocking factor is 4.7:1. The inter-connect remains a high-performance one nonetheless.
Node Characteristics
| nodes | cores | available memory | CPU | storage | GPU |
|---|---|---|---|---|---|
| 1109 | 64 | ~256000M | 2 x AMD Rome 7532 @ 2.40 GHz 256M cache L3 | 1 x 960 GB SSD | - |
| 33 | ~2048000M | ||||
| 158 | 48 | ~512000M | 2 x AMD Milan 7413 @ 2.65 GHz 128M cache L3 | 1 x SSD of 3.84 TB | 4 x NVidia A100 (40 GB memory) |
Particularités liées aux processeurs AMD
Ensemble d'instructions supporté
Narval est équipé de processeurs AMD qui supportent les instructions AVX2. Cet ensemble d'instructions est le même qui est supporté par les CPUs Intel de la génération Haswell, trouvés sur Graham et sur les nœuds les plus anciens de Cedar. Les processeurs de Narval ne supportent pas l'ensemble d'instructions AVX512, supporté par les processeurs Intel de la génération Skylake, qui sont utilisés sur Béluga, Niagara, ainsi que sur les nœuds les plus récents de Cedar.
Compilation avec le compilateur Intel
Les compilateurs Intel peuvent compiler du code pour les processeurs AMD en utilisant l'ensemble d'instructions AVX2. Par contre, si vous avez compilé un code sur un système utilisant des processeurs Intel, et que vous avez utilisé les options -xXXXX, tels que -xCORE-AVX2, ceux-ci ne fonctionneront pas, car les compilateurs Intel ajoutent des instructions pour vérifier que le CPU utilisé est produit par Intel. Afin d'obtenir des exécutables qui sont compatibles à la fois avec les processeurs Intel et AMD, il faut plutôt utiliser l'option -march=core-avx2. Cependant l'option -xHOST est équivalent à -march=core-avx2 sur Narval.
Environnements logiciels disponibles
L'environnement logiciel standard StdEnv/2020 est l'environnement par défaut sur Narval. Les anciennes versions ont été volontairement bloquées. Si vous avez besoin d'un logiciel qui n'est disponible que sur une ancienne version de l'environnement standard, nous vous invitons à contacter notre soutien technique.
Bibliothèques BLAS et LAPACK
La bibliothèque Intel MKL fonctionne sur les processeurs AMD, mais elle n'est pas optimale. Nous étudions présentement l'option d'utiliser la bibliothèque FlexiBLAS pour l'installation de prochaines versions de logiciel, afin de pouvoir changer dynamiquement l'implémentation de BLAS et LAPACK qui est utilisée, en fonction du vendeur du processeur. Si vous croyez que le code que vous exécutez est particulièrement sensible à la performance de BLAS et LAPACK, nous vous invitons à contacter notre soutien technique.