Niagara/fr: Difference between revisions
Jump to navigation
Jump to search
No edit summary |
(Updating to match new version of source page) |
||
| (19 intermediate revisions by 3 users not shown) | |||
| Line 1: | Line 1: | ||
<languages /> | <languages /> | ||
<div class="mw-translate-fuzzy"> | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| Disponible depuis avril 2018 | | Disponible depuis avril 2018 | ||
|- | |- | ||
| Nœud de connexion : '''niagara. | | Nœud de connexion : '''niagara.alliancecan.ca''' | ||
|- | |- | ||
| Point de chute Globus : '''computecanada.ca#niagara''' | | Point de chute Globus : '''computecanada.ca#niagara''' | ||
| Line 13: | Line 14: | ||
| État : '''https://docs.scinet.utoronto.ca''' | | État : '''https://docs.scinet.utoronto.ca''' | ||
|} | |} | ||
</div> | |||
Niagara est une grappe homogène, propriété de [https://www.utoronto.ca/ l'Université de Toronto], et opérée par [https://www.scinethpc.ca/ SciNet]. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable. | Niagara est une grappe homogène, propriété de [https://www.utoronto.ca/ l'Université de Toronto], et opérée par [https://www.scinethpc.ca/ SciNet]. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable. | ||
| Line 18: | Line 20: | ||
En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans [[Niagara Quickstart/fr| Niagara ː Guide de démarrage]]. | En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans [[Niagara Quickstart/fr| Niagara ː Guide de démarrage]]. | ||
Cette grappe fait partie des ressources allouées dans le cadre du [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours 2018]; les allocations sont en vigueur depuis le 4 avril 2018. | Des GPU sont disponibles sur la grappe [https://docs.scinet.utoronto.ca/index.php/Mist Mist]; voir la documentation préliminaire sur le [https://docs.scinet.utoronto.ca/index.php/Mist site de SciNet]. | ||
<div class="mw-translate-fuzzy"> | |||
Cette grappe fait partie des ressources allouées dans le cadre du [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours 2018]; les allocations sont en vigueur depuis le 4 avril 2018. | |||
</div> | |||
Vidéo ː [https://youtu.be/EpIcl-iUCV8 Présentation de Niagara au SciNet User Group Meeting du 14 février 2018] | Vidéo ː [https://youtu.be/EpIcl-iUCV8 Présentation de Niagara au SciNet User Group Meeting du 14 février 2018] | ||
| Line 25: | Line 31: | ||
<div class="mw-translate-fuzzy"> | |||
=Spécifications techniques= | =Spécifications techniques= | ||
</div> | |||
* | <div class="mw-translate-fuzzy"> | ||
* 2024 nœuds avec chacun 40 cœurs Intel Skylake 2.4GHz ou 40 cœurs Intel Cascadelake 2.5GHz, pour un total de 80 640 cœurs | |||
* mémoire vive de 202Go (188 Gio) par nœud | * mémoire vive de 202Go (188 Gio) par nœud | ||
* réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly+'' | * réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly+'' | ||
* espace ''scratch'' de | * espace ''scratch'' de 12.5Po, espace projet de 3.5Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation ''GPFS'') | ||
* mémoire tampon d'accès en rafale (''burst buffer'') de 256To, Excelero + Spectrum Scale d'IBM | * mémoire tampon d'accès en rafale (''burst buffer'') de 256To, Excelero + Spectrum Scale d'IBM | ||
* aucun disque local | * aucun disque local | ||
* aucun GPU | * aucun GPU | ||
* Performanche théorique (Rpeak) de | * Performanche théorique (Rpeak) de 6.25Pflops | ||
* Performance mesurée (Rmax) de 3. | * Performance mesurée (Rmax) de 3.6Pflops | ||
* consommation électrique | * consommation électrique 920kW | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
=Stockage= | =Stockage= | ||
{| class="wikitable sortable" | {| class="wikitable sortable" | ||
| Line 45: | Line 56: | ||
* persistant | * persistant | ||
|- | |- | ||
| '''espace ''scratch'''''<br /> | | '''espace ''scratch'''''<br />12.5Po (~100Go/s en écriture; ~120Go/s en lecture)<br />système de fichiers parallèle (Spectrum Scale d'IBM)|| | ||
* les données inactives sont purgées | * les données inactives sont purgées | ||
|- | |- | ||
| Line 51: | Line 62: | ||
* les données inactives sont purgées | * les données inactives sont purgées | ||
|- | |- | ||
|'''espace projet'''<br /> | |'''espace projet'''<br />3.5Po (~100Go/s en écriture; ~120Go/s en lecture)<br /> système de fichiers parallèle haute performance (Spectrum Scale d'IBM)|| | ||
* sauvegardé sur bandes | * sauvegardé sur bandes | ||
* alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources] | * alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources] | ||
* persistant | * persistant | ||
|- | |- | ||
| '''espace archive'''<br />volume total | | '''espace archive'''<br />volume total 20Po<br />stockage haute performance (HPSS d'IBM)|| | ||
* HSM sauvegardé sur bandes | * HSM sauvegardé sur bandes | ||
* alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources] | * alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources] | ||
* persistant | * persistant | ||
|} | |} | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
=Réseautique haute performance= | =Réseautique haute performance= | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
La grappe Niagara offre un réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly̝+'' de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes. | La grappe Niagara offre un réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly̝+'' de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
=Caractéristiques des nœuds= | =Caractéristiques des nœuds= | ||
</div> | |||
* CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud | * CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud | ||
* Puissance de calcul : 3 TFlops (pointe théorique maximale) | * Puissance de calcul : 3.07 TFlops (pointe théorique maximale) | ||
* Connexion réseau : 100Go/s EDR Dragonfly̟ | * Connexion réseau : 100Go/s EDR Dragonfly̟ | ||
* Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur | * Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur | ||
| Line 76: | Line 93: | ||
* GPU/accélérateurs ː aucun | * GPU/accélérateurs ː aucun | ||
* Système d'exploitation : Linux, CentOS 7 | * Système d'exploitation : Linux, CentOS 7 | ||
<div class="mw-translate-fuzzy"> | |||
=Ordonnancement= | =Ordonnancement= | ||
</div> | |||
L'ordonnancement des tâches se fait avec [[Running jobs/fr|Slurm]] et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː | L'ordonnancement des tâches se fait avec [[Running jobs/fr|Slurm]] et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː | ||
| Line 87: | Line 105: | ||
Les détails d'utilisation seront communiqués dès que disponibles. | Les détails d'utilisation seront communiqués dès que disponibles. | ||
<div class="mw-translate-fuzzy"> | |||
=Logiciel= | =Logiciel= | ||
</div> | |||
*Les logiciels sont installés à partir de modules. | *Les logiciels sont installés à partir de modules. | ||
*Les logiciels usuels sur les grappes de | *Les logiciels usuels sur les grappes de l'Alliance ainsi que les logiciels spécifiques à Niagara sont disponibles. | ||
*Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans [[Niagara Quickstart]]. | *Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans [[Niagara Quickstart]]. | ||
<div class="mw-translate-fuzzy"> | <div class="mw-translate-fuzzy"> | ||
= Accès = | = Accès = | ||
L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte | L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte avec l'Alliance, mais si vous détenez un compte, l'accès peut être activé. | ||
Si vous n'avez pas encore accès (par exemple parce que vous êtes un nouvel utilisateur | Si vous avez un compte actif, mais n'avez pas encore accès à Niagara (par exemple, parce que vous êtes un nouvel utilisateur et que vous appartenez à un groupe dont le chercheur principal ne dispose pas de ressources allouées par [https://alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/concours-pour-lallocation-de-ressources concours]), rendez-vous sur la [https://ccdb.computecanada.ca/services/opt_in page des services disponibles] dans CCDB et cliquez sur <i>Se joindre</i>. L'accès vous sera habituellement accordé dans les deux jours ouvrables. | ||
</div> | </div> | ||
<div class="mw-translate-fuzzy"> | |||
Si vous avez besoin d'assistance, n'hésitez pas à [mailto:niagara@computecanada.ca nous contacter]. | Si vous avez besoin d'assistance, n'hésitez pas à [mailto:niagara@computecanada.ca nous contacter]. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
== Guide de démarrage == | == Guide de démarrage == | ||
</div> | |||
Veuillez lire attentivement la page [[Niagara Quickstart/fr|Niagara ː Guide de démarrage]]. | Veuillez lire attentivement la page [[Niagara Quickstart/fr|Niagara ː Guide de démarrage]]. | ||
[[Category:Pages with video links]] | [[Category:Pages with video links]] | ||
Latest revision as of 15:35, 24 October 2024
| Disponible depuis avril 2018 |
| Nœud de connexion : niagara.alliancecan.ca |
| Point de chute Globus : computecanada.ca#niagara |
| Nœuds de copie (rsync, scp, ...) : nia-dm2, nia-dm2, voir Déplacer des données |
| État : https://docs.scinet.utoronto.ca |
Niagara est une grappe homogène, propriété de l'Université de Toronto, et opérée par SciNet. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.
En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans Niagara ː Guide de démarrage.
Des GPU sont disponibles sur la grappe Mist; voir la documentation préliminaire sur le site de SciNet.
Cette grappe fait partie des ressources allouées dans le cadre du concours 2018; les allocations sont en vigueur depuis le 4 avril 2018.
Vidéo ː Présentation de Niagara au SciNet User Group Meeting du 14 février 2018
Vidéo ː Installation du matériel
Spécifications techniques
- 2024 nœuds avec chacun 40 cœurs Intel Skylake 2.4GHz ou 40 cœurs Intel Cascadelake 2.5GHz, pour un total de 80 640 cœurs
- mémoire vive de 202Go (188 Gio) par nœud
- réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly+
- espace scratch de 12.5Po, espace projet de 3.5Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation GPFS)
- mémoire tampon d'accès en rafale (burst buffer) de 256To, Excelero + Spectrum Scale d'IBM
- aucun disque local
- aucun GPU
- Performanche théorique (Rpeak) de 6.25Pflops
- Performance mesurée (Rmax) de 3.6Pflops
- consommation électrique 920kW
Stockage
| espace home volume total 200To système de fichiers parallèle (Spectrum Scale d'IBM) |
|
| espace scratch 12.5Po (~100Go/s en écriture; ~120Go/s en lecture) système de fichiers parallèle (Spectrum Scale d'IBM) |
|
| mémoire tampon d'accès en rafale (burst buffer) 232To (~90Go/s en écriture; ~154Go/s en lecture) système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM) |
|
| espace projet 3.5Po (~100Go/s en écriture; ~120Go/s en lecture) système de fichiers parallèle haute performance (Spectrum Scale d'IBM) |
|
| espace archive volume total 20Po stockage haute performance (HPSS d'IBM) |
|
Réseautique haute performance
La grappe Niagara offre un réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly̝+ de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes.
Caractéristiques des nœuds
- CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud
- Puissance de calcul : 3.07 TFlops (pointe théorique maximale)
- Connexion réseau : 100Go/s EDR Dragonfly̟
- Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur
- Disque local : aucun
- GPU/accélérateurs ː aucun
- Système d'exploitation : Linux, CentOS 7
Ordonnancement
L'ordonnancement des tâches se fait avec Slurm et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː
- L'ordonnancement se fait seulement par nœud; les tâches doivent toujours demander des multiples de 40 cœurs par tâche.
- Il n'est pas nécessaire et non recommandé de demander une quantité spécifique de mémoire; la quantité de mémoire est égale pour chacun des nœuds (202Go/188Gio moins la mémoire utilisée par le système d'exploitation)
Les détails d'utilisation seront communiqués dès que disponibles.
Logiciel
- Les logiciels sont installés à partir de modules.
- Les logiciels usuels sur les grappes de l'Alliance ainsi que les logiciels spécifiques à Niagara sont disponibles.
- Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans Niagara Quickstart.
Accès
L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte avec l'Alliance, mais si vous détenez un compte, l'accès peut être activé. Si vous avez un compte actif, mais n'avez pas encore accès à Niagara (par exemple, parce que vous êtes un nouvel utilisateur et que vous appartenez à un groupe dont le chercheur principal ne dispose pas de ressources allouées par concours), rendez-vous sur la page des services disponibles dans CCDB et cliquez sur Se joindre. L'accès vous sera habituellement accordé dans les deux jours ouvrables.
Si vous avez besoin d'assistance, n'hésitez pas à nous contacter.
Guide de démarrage
Veuillez lire attentivement la page Niagara ː Guide de démarrage.