Niagara/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
No edit summary
(Updating to match new version of source page)
 
(101 intermediate revisions by 5 users not shown)
Line 1: Line 1:
<languages />
<languages />


<div class="mw-translate-fuzzy">
{| class="wikitable"
{| class="wikitable"
|-
|-
| Disponibilité prévue : '''Tests et configuration en mars 2017. Disponibilité en avril 2018 des ressources allouées dans le cadre du concours 2018.'''
| Disponible depuis avril 2018
|-
| Nœud de connexion : '''niagara.alliancecan.ca'''
|-
| Point de chute Globus : '''computecanada.ca#niagara'''
|-
| Nœuds de copie (rsync, scp, ...) : '''nia-dm2, nia-dm2''', voir [[Niagara_Quickstart/fr#Déplacer_des_données|Déplacer des données]]
|-
| État : '''https://docs.scinet.utoronto.ca'''
|}
</div>


|}
Niagara est une grappe homogène, propriété de [https://www.utoronto.ca/ l'Université de Toronto], et opérée par [https://www.scinethpc.ca/ SciNet]. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.


Niagara est une grappe homogène propriété de [https://www.utoronto.ca/ l'Université de Toronto] et opérée par [https://www.scinethpc.ca/ SciNet]. Capable d'accommoder les tâches parallèles de 1024 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.
En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans [[Niagara Quickstart/fr| Niagara ː Guide de démarrage]].


En général, l'environnement est semblable à celui de Cedar ou Graham. En date de février 2018, le travail de configuration est toujours en cours et les directives particulières d'utilisation restent à venir.
Des GPU sont disponibles sur la grappe [https://docs.scinet.utoronto.ca/index.php/Mist Mist]; voir la documentation préliminaire sur le [https://docs.scinet.utoronto.ca/index.php/Mist site  de SciNet].


Cette grappe fait partie des ressources allouées dans le cadre du [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours 2018]; les allocations entrent en vigueur le 4 avril 2018.  
<div class="mw-translate-fuzzy">
Cette grappe fait partie des ressources allouées dans le cadre du [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours 2018]; les allocations sont en vigueur depuis le 4 avril 2018.
</div>


Vidéo ː [https://youtu.be/EpIcl-iUCV8 Présentation de Niagara au SciNet User Group Meeting du 14 février 2018]
Vidéo ː [https://youtu.be/EpIcl-iUCV8 Présentation de Niagara au SciNet User Group Meeting du 14 février 2018]
Line 17: Line 30:
Vidéo ː [https://www.youtube.com/watch?v=RgSvGGzTeoc  Installation du matériel]
Vidéo ː [https://www.youtube.com/watch?v=RgSvGGzTeoc  Installation du matériel]


<div class="mw-translate-fuzzy">
=Spécifications techniques=
=Spécifications techniques=
</div>


* 1500 nodes, each with 40 Intel Skylake cores at 2.4GHz, for a total of 60,000 cores.
<div class="mw-translate-fuzzy">
* 202 GB (188 GiB) of RAM per node.
* 2024 nœuds avec chacun 40 cœurs Intel Skylake 2.4GHz ou 40 cœurs Intel Cascadelake 2.5GHz, pour un total de 80&nbsp;640 cœurs
* EDR Infiniband network in a so-called 'Dragonfly+' topology.
* mémoire vive de 202Go (188 Gio) par nœud
* 5PB of scratch, 5+2PB of project space (parallel file system: IBM Spectrum Scale, formerly known as GPFS).
* réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly+''
* 256 TB burst buffer (Excelero + IBM Spectrum Scale).
* espace ''scratch'' de 12.5Po, espace projet de 3.5Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation ''GPFS'')
* No local disks.
* mémoire tampon d'accès en rafale (''burst buffer'') de 256To, Excelero + Spectrum Scale d'IBM
* Rpeak of 4.61 PF.
* aucun disque local
* Rmax of 3.0 PF.
* aucun GPU
* 685 kW power consumption.
* Performanche théorique (Rpeak) de 6.25Pflops
* Performance mesurée (Rmax) de 3.6Pflops
* consommation électrique 920kW
</div>


=Attached storage systems=
<div class="mw-translate-fuzzy">
=Stockage=
{| class="wikitable sortable"
{| class="wikitable sortable"
|-
|-
| '''Home space''' <br />Parallel high-performance filesystem (IBM Spectrum Scale) ||
| '''espace ''home''''' <br />volume total 200To <br />système de fichiers parallèle (Spectrum Scale d'IBM)||
* Location of home directories.
* sauvegardé sur bandes
* Available as the <code>$HOME</code> environment variable.
* persistant
* Each home directory has a small, fixed [[Storage and file management#Filesystem_Quotas_and_Policies|quota]].
* Not allocated, standard amount for each user. For larger storage requirements, use scratch or project.
* Has daily backup.
|-
|-
| '''Scratch space'''<br />5PB total volume<br />Parallel high-performance filesystem (IBM Spectrum Scale)||
| '''espace ''scratch'''''<br />12.5Po (~100Go/s en écriture; ~120Go/s en lecture)<br />système de fichiers parallèle (Spectrum Scale d'IBM)||
* For active or temporary (<code>/scratch</code>) storage (~ 80 GB/s).
* les données inactives sont purgées
* Available as the <code>$SCRATCH</code> environment variable.
* Not allocated.
* Large fixed [[Storage and file management#Filesystem_Quotas_and_Policies|quota]] per user and per group path.
* Inactive data will be purged.
|-
|-
| '''Burst buffer'''<br />256TB total volume<br />Parallel extra high-performance filesystem (Excelero+IBM Spectrum Scale)||
| '''mémoire tampon d'accès en rafale (''burst buffer'')'''<br />232To (~90Go/s en écriture; ~154Go/s en lecture) <br />système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM)||
* For active fast storage during a job (160GB/s, and very high IOPS).
* les données inactives sont purgées
* Data will be purged very frequently (i.e. soon after a job has ended).
* Not allocated.
|-
|-
|'''Project space'''<br />External persistent storage<br />||
|'''espace projet'''<br />3.5Po (~100Go/s en écriture; ~120Go/s en lecture)<br /> système de fichiers parallèle haute performance (Spectrum Scale d'IBM)||
* Allocated via [https://www.computecanada.ca/research-portal/accessing-resources/resource-allocation-competitions/ RAC].
* sauvegardé sur bandes
* Available as the <code>$PROJECT</code> environment variable.
* alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]
* [[Storage and file management#Filesystem_Quotas_and_Policies|quota]] set per user and per project path.
* persistant
* Backed up.
|-
|-
| '''Archive Space'''<br />10PB total volume<br />High Performance Storage System (IBM HPSS)||
| '''espace archive'''<br />volume total 20Po<br />stockage haute performance (HPSS d'IBM)||
* Allocated via [https://www.computecanada.ca/research-portal/accessing-resources/resource-allocation-competitions/ RAC].
* HSM sauvegardé sur bandes
* intended for large datasets requiring offload from active file systems.
* alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]
* Available as the <code>$ARCHIVE</code> environment variable.
* persistant
* Large fixed [[Storage and file management#Filesystem_Quotas_and_Policies|quota]] per group.
|}
|}
</div>


=High-performance interconnect=
<div class="mw-translate-fuzzy">
=Réseautique haute performance=
</div>


The Niagara system has an EDR Infiniband network in a so-called
<div class="mw-translate-fuzzy">
'Dragonfly+' topology, with four wings. Each wing (of 375 nodes) has
La grappe Niagara offre un réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie dite ''Dragonfly̝+'' de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes.
1-to-1 connections. Network traffic between wings is done through
</div>
adaptive routing, which alleviates network congestion.


=Node characteristics=
<div class="mw-translate-fuzzy">
=Caractéristiques des nœuds=
</div>


* CPU: 2 sockets with 20 Intel Skylake cores (2.4GHz, AVX512), for a total of 40 cores per node
* CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud
* Computational perfomance: 3 TFlops (theoretical maximum)
* Puissance de calcul : 3.07 TFlops (pointe théorique maximale)
* Network connection: 100Gb/s EDR  
* Connexion réseau : 100Go/s EDR Dragonfly̟
* Memory: 202 GB (188 GiB) GB of RAM, i.e., a bit over 4GiB per core.
* Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur
* Local disk: none.
* Disque local : aucun
* Operating system: Linux CentOS 7
* GPU/accélérateurs ː aucun
* Système d'exploitation : Linux, CentOS 7


<div class="mw-translate-fuzzy">
=Ordonnancement=
=Ordonnancement=
</div>


The Niagara system will use the [[Running jobs|Slurm]] scheduler to run jobs.  The basic scheduling commands will therefore be similar to those for Cedar and Graham, with a few differences:
L'ordonnancement des tâches se fait avec [[Running jobs/fr|Slurm]] et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː


* Scheduling will be by node only. This means jobs will always need to use multiples of 40 cores per job.
* L'ordonnancement se fait seulement par nœud; les tâches doivent toujours demander des multiples de 40 cœurs par tâche.  
* Asking for specific amounts of memory will not be necessary and is discouraged; all nodes have the same amount of memory (202GB/188GiB minus some operating system overhead).
* Il n'est pas nécessaire et non recommandé de demander une quantité spécifique de mémoire; la quantité de mémoire est égale pour chacun des nœuds (202Go/188Gio moins la mémoire utilisée par le système d'exploitation)


Details, such as how to request burst buffer usage in jobs, are still being worked out.
Les détails d'utilisation seront communiqués dès que disponibles.


<div class="mw-translate-fuzzy">
=Logiciel=
=Logiciel=
</div>
*Les logiciels sont installés à partir de modules.
*Les logiciels usuels sur les grappes de l'Alliance ainsi que les logiciels spécifiques à Niagara sont disponibles.
*Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans [[Niagara Quickstart]].
<div class="mw-translate-fuzzy">
= Accès =
L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte avec l'Alliance, mais si vous détenez un compte, l'accès peut être activé.
Si vous avez un compte actif, mais n'avez pas encore accès à Niagara (par exemple, parce que vous êtes un nouvel utilisateur et que vous appartenez à un groupe dont le chercheur principal ne dispose pas de ressources allouées par [https://alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/concours-pour-lallocation-de-ressources concours]), rendez-vous sur la [https://ccdb.computecanada.ca/services/opt_in page des services disponibles] dans CCDB et cliquez sur <i>Se joindre</i>. L'accès vous sera habituellement accordé dans les deux jours ouvrables.
</div> 
<div class="mw-translate-fuzzy">
Si vous avez besoin d'assistance, n'hésitez pas à [mailto:niagara@computecanada.ca nous contacter].
</div>
<div class="mw-translate-fuzzy">
== Guide de démarrage ==
</div>
Veuillez lire attentivement la page [[Niagara Quickstart/fr|Niagara ː Guide de démarrage]].


* Module-based software stack.
[[Category:Pages with video links]]
* Both the standard Compute Canada software stack as well as system-specific software tuned for the system will be available.
* Different from Cedar and Graham, no modules will be loaded by default to prevent accidental conflicts in versions. There will be a simple mechanism to load the software stack that a user would see on Graham and Cedar.

Latest revision as of 15:35, 24 October 2024

Other languages:
Disponible depuis avril 2018
Nœud de connexion : niagara.alliancecan.ca
Point de chute Globus : computecanada.ca#niagara
Nœuds de copie (rsync, scp, ...) : nia-dm2, nia-dm2, voir Déplacer des données
État : https://docs.scinet.utoronto.ca

Niagara est une grappe homogène, propriété de l'Université de Toronto, et opérée par SciNet. Capable d'accommoder des tâches parallèles de 1040 cœurs et plus, elle est conçue pour gérer efficacement des débits intensifs générés par une variété d'applications scientifiques à hauts volumes de données. Ses fonctions de réseau et de stockage offrent des performances excellentes et une grande capacité. Niagara démontre en plus une efficacité énergétique appréciable.

En général, l'environnement est semblable à celui de Cedar ou Graham, avec quelques différences mineures. Voir les particularités dans Niagara ː Guide de démarrage.

Des GPU sont disponibles sur la grappe Mist; voir la documentation préliminaire sur le site de SciNet.

Cette grappe fait partie des ressources allouées dans le cadre du concours 2018; les allocations sont en vigueur depuis le 4 avril 2018.

Vidéo ː Présentation de Niagara au SciNet User Group Meeting du 14 février 2018

Vidéo ː Installation du matériel


Spécifications techniques

  • 2024 nœuds avec chacun 40 cœurs Intel Skylake 2.4GHz ou 40 cœurs Intel Cascadelake 2.5GHz, pour un total de 80 640 cœurs
  • mémoire vive de 202Go (188 Gio) par nœud
  • réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly+
  • espace scratch de 12.5Po, espace projet de 3.5Po (système de fichiers parallèle Spectrum Scale d'IBM, autrefois connu sous l'appellation GPFS)
  • mémoire tampon d'accès en rafale (burst buffer) de 256To, Excelero + Spectrum Scale d'IBM
  • aucun disque local
  • aucun GPU
  • Performanche théorique (Rpeak) de 6.25Pflops
  • Performance mesurée (Rmax) de 3.6Pflops
  • consommation électrique 920kW

Stockage

espace home
volume total 200To
système de fichiers parallèle (Spectrum Scale d'IBM)
  • sauvegardé sur bandes
  • persistant
espace scratch
12.5Po (~100Go/s en écriture; ~120Go/s en lecture)
système de fichiers parallèle (Spectrum Scale d'IBM)
  • les données inactives sont purgées
mémoire tampon d'accès en rafale (burst buffer)
232To (~90Go/s en écriture; ~154Go/s en lecture)
système de fichiers parallèle extra haute performance (Excelero+Spectrum Scale d'IBM)
  • les données inactives sont purgées
espace projet
3.5Po (~100Go/s en écriture; ~120Go/s en lecture)
système de fichiers parallèle haute performance (Spectrum Scale d'IBM)
espace archive
volume total 20Po
stockage haute performance (HPSS d'IBM)

Réseautique haute performance

La grappe Niagara offre un réseau InfiniBand EDR (Enhanced Data Rate) à topologie dite Dragonfly̝+ de quatre ailes. Chacune des ailes d'un maximum de 432 nœuds chacune (pour 17280) possèdent des connecteurs 1-1. La communication entre les ailes se fait par routage adaptatif, évitant ainsi la congestion et offrant un ratio de blocage 2ː1 entre les nœuds des différentes ailes.

Caractéristiques des nœuds

  • CPU : 2 sockets avec 20 cœurs Skylake d'Intel (2.4GHz, AVX512), pour un total de 40 cœurs par nœud
  • Puissance de calcul : 3.07 TFlops (pointe théorique maximale)
  • Connexion réseau : 100Go/s EDR Dragonfly̟
  • Mémoire vive : 202Go (188 Gio), soit un peu plus que 4Gio par cœur
  • Disque local : aucun
  • GPU/accélérateurs ː aucun
  • Système d'exploitation : Linux, CentOS 7

Ordonnancement

L'ordonnancement des tâches se fait avec Slurm et les commandes de base sont les mêmes qu'avec Cedar et Graham. Il faut cependant noter les différences suivantes ː

  • L'ordonnancement se fait seulement par nœud; les tâches doivent toujours demander des multiples de 40 cœurs par tâche.
  • Il n'est pas nécessaire et non recommandé de demander une quantité spécifique de mémoire; la quantité de mémoire est égale pour chacun des nœuds (202Go/188Gio moins la mémoire utilisée par le système d'exploitation)

Les détails d'utilisation seront communiqués dès que disponibles.

Logiciel

  • Les logiciels sont installés à partir de modules.
  • Les logiciels usuels sur les grappes de l'Alliance ainsi que les logiciels spécifiques à Niagara sont disponibles.
  • Contrairement aux grappes Cedar et Graham, aucun module n'est chargé par défaut sur Niagara, ceci pour éviter les conflits de versions. Pour charger la pile logicielle de Cedar ou Graham, utilisez le module CCEnv comme discuté dans Niagara Quickstart.

Accès

L'accès à Niagara n'est pas automatiquement disponible à tous les détenteurs d'un compte avec l'Alliance, mais si vous détenez un compte, l'accès peut être activé. Si vous avez un compte actif, mais n'avez pas encore accès à Niagara (par exemple, parce que vous êtes un nouvel utilisateur et que vous appartenez à un groupe dont le chercheur principal ne dispose pas de ressources allouées par concours), rendez-vous sur la page des services disponibles dans CCDB et cliquez sur Se joindre. L'accès vous sera habituellement accordé dans les deux jours ouvrables.

Si vous avez besoin d'assistance, n'hésitez pas à nous contacter.

Guide de démarrage

Veuillez lire attentivement la page Niagara ː Guide de démarrage.

Globus is a file transfer service

Compute Canada Data Base

Retrieved from "https://docs.alliancecan.ca/mediawiki/index.php?title=Niagara/fr&oldid=163150"