Cedar/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
(Updating to match new version of source page)
(Uniformisation de « nœud de connexion »)
Tags: Mobile edit Mobile web edit
 
(67 intermediate revisions by 5 users not shown)
Line 5: Line 5:
| Disponibilité : depuis le 30 juin 2017, dans le cadre du concours d'allocation des ressources pour 2017
| Disponibilité : depuis le 30 juin 2017, dans le cadre du concours d'allocation des ressources pour 2017
|-
|-
| Nœud frontal (''login node'') : '''cedar.calculcanada.ca'''
| Nœud de connexion : <b>cedar.alliancecan.ca</b>
|-
|-
| Point de chute Globus : '''computecanada.ca#cedar'''
| Point de chute Globus : <b>computecanada#cedar-globus</b>
|-
|-
| État de la grappe :  '''http://status.calculcanada.ca/'''
| État de la grappe :  <b>https://status.alliancecan.ca/</b>
|}
|}


Cedar est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université Simon-Fraser. Son nom rappelle le [https://fr.wikipedia.org/wiki/Thuja_plicata cèdre de l'Ouest], arbre officiel de la Colombie-Britannique dont la signification spirituelle est importante pour les Premières Nations de la région.
Cedar est une grappe hétérogène adaptée pour plusieurs types de tâches; elle est située à l'Université Simon-Fraser. Son nom rappelle le [https://fr.wikipedia.org/wiki/Thuja_plicata cèdre de l'Ouest], arbre officiel de la Colombie-Britannique dont la signification spirituelle est importante pour les Premières Nations de la région.
<br/>
<br/>
Le fournisseur est Scalar Decisions Inc.; les nœuds sont des produits Dell; le système de fichiers de stockage <tt>/scratch</tt> haute performance est de DDN; la réseautique est d'Intel. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.
Le fournisseur est Scalar Decisions Inc.; les nœuds sont des produits Dell; le système de fichiers de stockage /scratch haute performance est de DDN; la réseautique est d'Intel. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.
<br/>
<br/>
IMPORTANT : La version 4 de Globus ne supporte plus les points de chute et <b>computecanada#cedar-dtn</b> n'est plus disponible. Veuillez utiliser le point de chute de la version 5, <b>computecanada#cedar-globus</b>.


Voyez de courtes vidéos sur les [[Getting started with the new national systems/fr| notions de base pour l'utilisation de Cedar]].
[[Getting started/fr| Introduction à Cedar]]<br>
[[Running_jobs/fr|Exécuter des tâches]]<br>
[[Transferring_data|Transférer des données]]<br>


=Stockage=
==Stockage==


{| class="wikitable sortable"
{| class="wikitable sortable"
|-
|-
| '''espace ''home'''''<br />volume total 526To||
| <b>espace /home</b><br />volume total 526To||
* localisation des répertoires ''home''<br />
* localisation des répertoires /home<br />
* chaque répertoire ''home'' a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
* chaque répertoire /home a un petit [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe
* non alloué via le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/acces-rapide/?lang=fr service d'accès rapide] ou le [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr concours d'allocation de ressources]; le stockage de grande envergure se fait sur l'espace projet
* non alloué via le [https://alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/service-dacces-rapide service d'accès rapide] ou le [https://alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/concours-pour-lallocation-de-ressources concours d'allocation de ressources]; le stockage de grande envergure se fait sur /project
* est sauvegardé chaque jour
* est sauvegardé chaque jour
|-
|-
| '''espace ''scratch''''', <br />volume total 5.4Po<br />système de fichiers parallèle de haute performance ||
| <b>espace /scratch</b>, <br />volume total 5.4Po<br />système de fichiers parallèle de haute performance ||
* stockage ''scratch'' actif ou temporaire <br />
* stockage actif ou temporaire <br />
* non alloué
* non alloué
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe, par utilisateur
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] fixe, par utilisateur
* les données inactives sont [[Scratch purging policy/fr|purgées]]
* les données inactives sont [[Scratch purging policy/fr|purgées]]
|-
|-
|'''espace projet'''<br />volume total 23Po<br />stockage persistant externe
|<b>espace /project</b><br />volume total 23Po<br />stockage persistant externe
||
||
* fait partie de la [[National_Data_Cyberinfrastructure/fr|cyberinfrastructure nationale de données]]
* ne convient pas aux tâches d'écriture et de lecture parallèles; utiliser plutôt l'espace /scratch
* ne convient pas aux tâches d'écriture et de lecture parallèles; utiliser plutôt l'espace ''scratch''
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] ajustable, par projet
* grand [[Storage and file management/fr#Quotas_et_politiques|quota]] ajustable, par projet
* est sauvegardé chaque jour
* est sauvegardé chaque jour
|}
|}


Le stockage temporaire (''scratch'') est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.
Le stockage temporaire (/scratch) est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.


=Réseautique haute performance=
==Réseautique haute performance==


''Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).''
<i>Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).</i>


Une réseautique à faible latence et haute performance pour tous les nœuds de calcul et le stockage temporaire.
Une réseautique à faible latence et haute performance pour tous les nœuds de calcul et le stockage temporaire.
Line 52: Line 56:
L'architecture a été planifiée pour supporter de multiples tâches parallèles utilisant jusqu'à 1024 cœurs Broadwell (32 nœuds) ou 1536 cœurs Skylake (32 nœuds) ou 1536 cœurs Cascade Lake (32 nœuds) grâce à une réseautique non bloquante. Pour les plus grandes tâches, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.
L'architecture a été planifiée pour supporter de multiples tâches parallèles utilisant jusqu'à 1024 cœurs Broadwell (32 nœuds) ou 1536 cœurs Skylake (32 nœuds) ou 1536 cœurs Cascade Lake (32 nœuds) grâce à une réseautique non bloquante. Pour les plus grandes tâches, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.


=Caractéristiques des nœuds=
==Caractéristiques des nœuds==


Cedar offre 94,528 cœurs CPU pour le calcul et 1352 GPU.  
Cedar offre 100,400 cœurs CPU pour le calcul et 1352 GPU. TurboBoost est désactivé sur tous les nœuds.


{| class="wikitable sortable"
{| class="wikitable sortable"
! nœuds !! cœurs !! mémoire disponible !! CPU  !! stockage !! GPU  
! nœuds !! cœurs !! mémoire disponible !! CPU  !! stockage !! GPU  
|-
|-
| 576 || 32 || 125G ou 128000M  || 2 x Intel E5-2683 v4 Broadwell @ 2.1Ghz || 2 x SSD 480G  || -
| 256 || 32 || 125G ou 128000M  || 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz || 2 x SSD 480G  || -
|-
| 256 || 32 || 250G ou 257000M  || 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz || 2 x SSD 480G || -
|-
|-
| 96 || 32 || 250G ou 257000M   || 2 x Intel E5-2683 v4 Broadwell @ 2.1Ghz || 2 x SSD 480G || -
| 40  || 32 || 502G ou 515000M   || 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz || 2 x SSD 480G || -
|-
|-
| 24 || 32 || 502G ou 515000M  || 2 x Intel E5-2683 v4 Broadwell @ 2.1Ghz || 2 x SSD 480G || -
| 16 || 32 || 1510G ou 1547000M || 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz || 2 x SSD 480G || -
|-
|-
| 24  || 32 || 1510G ou 1547000M || 2 x Intel E5-2683 v4 Broadwell @ 2.1Ghz || 2 x SSD 480G || -
| 6  || 32 || 4000G ou 409600M || 2 x AMD EPYC 7302 @ 3.0GHz || 2 x SSD 480G || -
|-
|-
| 4  || 32 || 3022G ou 3095000M || 4 x Intel E7-4809 v4 Broadwell @ 2.1Ghz || 2 x SSD 480G || -
| 2 || 40 || 6000G ou 614400M  || 4 x Intel Gold 5215 Cascade Lake @ 2.5GHz || 2 x SSD 480G || -
|-
|-
| 114 || 24 || 125G ou 128000M  || 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz || 1 x SSD 800G || 4 x NVIDIA P100 Pascal (mémoire HBM2 12G)
| 96  || 24 || 125G ou 128000M  || 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz || 1 x SSD 800G || 4 x NVIDIA P100 Pascal (mémoire HBM2 12G)
|-
|-
| 32  || 24 || 250G ou 257000M  || 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz || 1 x SSD 800G || 4 x NVIDIA P100 Pascal (mémoire HBM2 16G)
| 32  || 24 || 250G ou 257000M  || 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz || 1 x SSD 800G || 4 x NVIDIA P100 Pascal (mémoire HBM2 16G)
Line 75: Line 81:
| 192 || 32 || 187G ou 192000M  || 2 x Intel Silver 4216 Cascade Lake @ 2.1GHz || 1 x SSD 480G || 4 x NVIDIA V100 Volta (mémoire HBM2 32G)
| 192 || 32 || 187G ou 192000M  || 2 x Intel Silver 4216 Cascade Lake @ 2.1GHz || 1 x SSD 480G || 4 x NVIDIA V100 Volta (mémoire HBM2 32G)
|-
|-
| 640 || 48 || 187G ou 192000M  || 2 x Intel Platinum 8160F Skylake @ 2.1Ghz || 2 x SSD 480G || -
| 608 || 48 || 187G ou 192000M  || 2 x Intel Platinum 8160F Skylake @ 2.1GHz || 2 x SSD 480G || -
|-
|-
| 768 || 48 || 187G ou 192000M  || 2 x Intel Platinum 8260 Cascade Lake @ 2.4Ghz || 2 x SSD 480G || -
| 768 || 48 || 187G ou 192000M  || 2 x Intel Platinum 8260 Cascade Lake @ 2.4GHz || 2 x SSD 480G || -
|}
|}


Remarquez que la quantité de mémoire disponible est moindre que la valeur arrondie suggérée par la configuration matérielle. Par exemple, les nœuds de type ''base 128G'' ont effectivement 128Gio de mémoire vive, mais une certaine quantité est utilisée en permanence par le noyau (''kernel'') et le système d'exploitation. Pour éviter la perte de temps encourue par le ''swapping'' ou le ''paging'', l'ordonnanceur n'allouera jamais une tâche dont les exigences dépassent la quantité de mémoire disponible indiquée dans le tableau ci-dessus.
Remarquez que la quantité de mémoire disponible est moindre que la valeur arrondie suggérée par la configuration matérielle. Par exemple, les nœuds de type <i>base 128G</i> ont effectivement 128Gio de mémoire vive, mais une certaine quantité est utilisée en permanence par le noyau (<i>kernel</i>) et le système d'exploitation. Pour éviter la perte de temps encourue par le <i>swapping</i> ou le <i>paging</i>, l'ordonnanceur n'allouera jamais une tâche dont les exigences dépassent la quantité de mémoire disponible indiquée dans le tableau ci-dessus.


Tous les nœuds ont de l'espace de stockage local temporaire. Les nœuds de calcul (à l'exception des nœuds GPU) ont deux disques SSD de 480Go pour une capacité totale de 960Go. Les nœuds GPU ont un disque SSD de 800Go ou de 480Go. Pour accéder le stockage local, il est recommandé d'utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> créé par l'ordonnanceur à cet effet; consultez [[Running_jobs/fr|Exécuter des tâches]].
Tous les nœuds ont de l'espace de stockage local temporaire. Les nœuds de calcul (à l'exception des nœuds GPU) ont deux disques SSD de 480Go pour une capacité totale de 960Go. Les nœuds GPU ont un disque SSD de 800Go ou de 480Go. Utilisez le stockage local sur le nœud par le biais du répertoire créé pour la tâche par l'ordonnanceur. Voir  [[Using node-local storage/fr|Stockage local sur les nœuds de calcul]].


==Sélectionner un type de nœud==
===Sélectionner un type de nœud===
La plupart des applications peuvent être exécutées sur les nœuds Broadwell, Skylake ou Cascade Lake et la différence en performance ne devrait pas être significative en comparaison des temps d'attente. Nous vous recommandons de ne pas spécifier le type de nœud pour vos tâches. Par contre, s'il est nécessaire de demander un type particulier, utilisez <code>--constraint=cascade</code>, <code>--constraint=skylake</code> ou <code>--constraint=broadwell</code>.  Si vous avez besoin d'un nœud AVX512, utilisez <code>--constraint=[skylake|cascade]</code>.  Consultez [[Running_jobs/fr#Sélectionner_une_architecture_CPU|Sélectionner une architecture CPU]].
Un certain nombre de nœuds de 48 cœurs sont réservés pour les tâches qui nécessitent des nœuds entiers. Aucun nœud de 32 cœurs n'est réservé pour les calculs avec des nœuds entiers. <b>Les tâches qui nécessitent moins de 48 cœurs par nœud pourraient donc avoir à partager des nœuds avec d'autres tâches</b>.
<br>
La plupart des applications peuvent être exécutées sur les nœuds Broadwell, Skylake ou Cascade Lake et la différence en performance ne devrait pas être significative en comparaison des temps d'attente. Nous vous recommandons de ne pas spécifier le type de nœud pour vos tâches. Par contre, s'il est nécessaire de demander un type particulier, utilisez <code>--constraint=cascade</code>, <code>--constraint=skylake</code> ou <code>--constraint=broadwell</code>.  Si vous avez besoin d'un nœud AVX512, utilisez <code>--constraint=[skylake|cascade]</code>.


= Modification à la politique de soumission et exécution de tâches =
== Modification à la politique de soumission et exécution de tâches ==


Depuis le 17 avril 2019, les tâches ne peuvent plus être exécutées dans le système de fichiers <code>/home</code>. Cette modification a pour but de diminuer la charge et d'améliorer le temps de réponse en mode interactif dans <code>/home</code>. Si le message <code>Submitting jobs from directories residing in /home is not permitted</code> s'affiche, transférez les fichiers vers votre répertoire <code>/project</code> ou <code>/scratch</code> et soumettez la tâche à partir du nouvel emplacement.
Depuis le <b>17 avril 2019</b>, les tâches ne peuvent plus être exécutées dans le système de fichiers <code>/home</code>. Cette modification a pour but de diminuer la charge et d'améliorer le temps de réponse en mode interactif dans <code>/home</code>. Si le message <code>Submitting jobs from directories residing in /home is not permitted</code> s'affiche, transférez les fichiers vers votre répertoire <code>/project</code> ou <code>/scratch</code> et soumettez la tâche à partir du nouvel emplacement.


<div class="mw-translate-fuzzy">
===Performance===
==Performance==
La performance théorique maximale en double précision est de 6547 téraflops pour les CPU auxquels s'ajoutent 7434 téraflops pour les GPU, pour un total de près de 14 pétaflops.
Cedar a en théorie un total de 58&nbsp;416 cœurs CPU de calcul et 584 accélérateurs GPU. La performance théorique maximale en double précision est de 936 teraflops pour les CPU auxquels s'ajoutent 2744 teraflops pour les GPU, pour un total de 3.6 petaflops. Il y a 22 ilots de 32 nœuds complètement connectés par une interconnexion non-blocante (''Omni-Path fabric''), chacun avec un total de 1024 cœurs; chaque ilot devrait générer plus de 30 teraflops de performance double précision mesurée. Il y a un facteur de blocage de 2:1 entre les ilots de 1024 cœurs.
</div>


Cedar's network topology is made up of "islands". Most islands contain 32 nodes: there are 18 islands with 32 Broadwell nodes, each with 32 cores (i.e., 1024 cores per island), 44 islands with 32 Skylake and Cascade Lake nodes, each with 48 cores (i.e., 1536 cores per island), 4 islands with 32 P100 GPU nodes and 6 islands with 32 V100 GPU nodes. There are also 2 islands with 24 large memory Broadwell nodes each. Nodes within an island are connected in a fully non-blocking topology (Omni-Path fabric). There is a 2:1 blocking factor between islands.
La topologie réseau est une composition d'îlots avec un facteur de blocage de 2:1 entre chacun. La plupart des îlots ont 32 nœuds entièrement reliés par une interconnexion (<i>Omni-Path fabric</i>) non bloquante.
<br>
La plupart des îlots ont 32 nœuds&nbsp;:
* 16 îlots de 32 nœuds Broadwell chacun avec 32 cœurs, soit 1024 cœurs par îlot;
* 43 îlots de 32 nœuds Skylake ou Cascade Lake chacun avec 48 cœurs, soit 1536 cœurs par îlot;
* 4 îlots avec 32 nœuds GPU P100;
* 6 îlots avec 32 nœuds GPU V100;
* 2 îlots de 32 nœuds Broadwell de grande mémoire chacun; de ces 64 nœuds, 40 sont de 05.To, 16 sont de 1.5To, 6 sont de 4To et 2 sont de 6To.


<noinclude>
<noinclude>
</noinclude>
</noinclude>

Latest revision as of 18:22, 13 November 2024

Other languages:
Disponibilité : depuis le 30 juin 2017, dans le cadre du concours d'allocation des ressources pour 2017
Nœud de connexion : cedar.alliancecan.ca
Point de chute Globus : computecanada#cedar-globus
État de la grappe : https://status.alliancecan.ca/

Cedar est une grappe hétérogène adaptée pour plusieurs types de tâches; elle est située à l'Université Simon-Fraser. Son nom rappelle le cèdre de l'Ouest, arbre officiel de la Colombie-Britannique dont la signification spirituelle est importante pour les Premières Nations de la région.
Le fournisseur est Scalar Decisions Inc.; les nœuds sont des produits Dell; le système de fichiers de stockage /scratch haute performance est de DDN; la réseautique est d'Intel. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.

IMPORTANT : La version 4 de Globus ne supporte plus les points de chute et computecanada#cedar-dtn n'est plus disponible. Veuillez utiliser le point de chute de la version 5, computecanada#cedar-globus.

Introduction à Cedar
Exécuter des tâches
Transférer des données

Stockage

espace /home
volume total 526To
espace /scratch,
volume total 5.4Po
système de fichiers parallèle de haute performance
  • stockage actif ou temporaire
  • non alloué
  • grand quota fixe, par utilisateur
  • les données inactives sont purgées
espace /project
volume total 23Po
stockage persistant externe
  • ne convient pas aux tâches d'écriture et de lecture parallèles; utiliser plutôt l'espace /scratch
  • grand quota ajustable, par projet
  • est sauvegardé chaque jour

Le stockage temporaire (/scratch) est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.

Réseautique haute performance

Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).

Une réseautique à faible latence et haute performance pour tous les nœuds de calcul et le stockage temporaire.

L'architecture a été planifiée pour supporter de multiples tâches parallèles utilisant jusqu'à 1024 cœurs Broadwell (32 nœuds) ou 1536 cœurs Skylake (32 nœuds) ou 1536 cœurs Cascade Lake (32 nœuds) grâce à une réseautique non bloquante. Pour les plus grandes tâches, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.

Caractéristiques des nœuds

Cedar offre 100,400 cœurs CPU pour le calcul et 1352 GPU. TurboBoost est désactivé sur tous les nœuds.

nœuds cœurs mémoire disponible CPU stockage GPU
256 32 125G ou 128000M 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz 2 x SSD 480G -
256 32 250G ou 257000M 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz 2 x SSD 480G -
40 32 502G ou 515000M 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz 2 x SSD 480G -
16 32 1510G ou 1547000M 2 x Intel E5-2683 v4 Broadwell @ 2.1GHz 2 x SSD 480G -
6 32 4000G ou 409600M 2 x AMD EPYC 7302 @ 3.0GHz 2 x SSD 480G -
2 40 6000G ou 614400M 4 x Intel Gold 5215 Cascade Lake @ 2.5GHz 2 x SSD 480G -
96 24 125G ou 128000M 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz 1 x SSD 800G 4 x NVIDIA P100 Pascal (mémoire HBM2 12G)
32 24 250G ou 257000M 2 x Intel E5-2650 v4 Broadwell @ 2.2GHz 1 x SSD 800G 4 x NVIDIA P100 Pascal (mémoire HBM2 16G)
192 32 187G ou 192000M 2 x Intel Silver 4216 Cascade Lake @ 2.1GHz 1 x SSD 480G 4 x NVIDIA V100 Volta (mémoire HBM2 32G)
608 48 187G ou 192000M 2 x Intel Platinum 8160F Skylake @ 2.1GHz 2 x SSD 480G -
768 48 187G ou 192000M 2 x Intel Platinum 8260 Cascade Lake @ 2.4GHz 2 x SSD 480G -

Remarquez que la quantité de mémoire disponible est moindre que la valeur arrondie suggérée par la configuration matérielle. Par exemple, les nœuds de type base 128G ont effectivement 128Gio de mémoire vive, mais une certaine quantité est utilisée en permanence par le noyau (kernel) et le système d'exploitation. Pour éviter la perte de temps encourue par le swapping ou le paging, l'ordonnanceur n'allouera jamais une tâche dont les exigences dépassent la quantité de mémoire disponible indiquée dans le tableau ci-dessus.

Tous les nœuds ont de l'espace de stockage local temporaire. Les nœuds de calcul (à l'exception des nœuds GPU) ont deux disques SSD de 480Go pour une capacité totale de 960Go. Les nœuds GPU ont un disque SSD de 800Go ou de 480Go. Utilisez le stockage local sur le nœud par le biais du répertoire créé pour la tâche par l'ordonnanceur. Voir Stockage local sur les nœuds de calcul.

Sélectionner un type de nœud

Un certain nombre de nœuds de 48 cœurs sont réservés pour les tâches qui nécessitent des nœuds entiers. Aucun nœud de 32 cœurs n'est réservé pour les calculs avec des nœuds entiers. Les tâches qui nécessitent moins de 48 cœurs par nœud pourraient donc avoir à partager des nœuds avec d'autres tâches.
La plupart des applications peuvent être exécutées sur les nœuds Broadwell, Skylake ou Cascade Lake et la différence en performance ne devrait pas être significative en comparaison des temps d'attente. Nous vous recommandons de ne pas spécifier le type de nœud pour vos tâches. Par contre, s'il est nécessaire de demander un type particulier, utilisez --constraint=cascade, --constraint=skylake ou --constraint=broadwell. Si vous avez besoin d'un nœud AVX512, utilisez --constraint=[skylake|cascade].

Modification à la politique de soumission et exécution de tâches

Depuis le 17 avril 2019, les tâches ne peuvent plus être exécutées dans le système de fichiers /home. Cette modification a pour but de diminuer la charge et d'améliorer le temps de réponse en mode interactif dans /home. Si le message Submitting jobs from directories residing in /home is not permitted s'affiche, transférez les fichiers vers votre répertoire /project ou /scratch et soumettez la tâche à partir du nouvel emplacement.

Performance

La performance théorique maximale en double précision est de 6547 téraflops pour les CPU auxquels s'ajoutent 7434 téraflops pour les GPU, pour un total de près de 14 pétaflops.

La topologie réseau est une composition d'îlots avec un facteur de blocage de 2:1 entre chacun. La plupart des îlots ont 32 nœuds entièrement reliés par une interconnexion (Omni-Path fabric) non bloquante.
La plupart des îlots ont 32 nœuds :

  • 16 îlots de 32 nœuds Broadwell chacun avec 32 cœurs, soit 1024 cœurs par îlot;
  • 43 îlots de 32 nœuds Skylake ou Cascade Lake chacun avec 48 cœurs, soit 1536 cœurs par îlot;
  • 4 îlots avec 32 nœuds GPU P100;
  • 6 îlots avec 32 nœuds GPU V100;
  • 2 îlots de 32 nœuds Broadwell de grande mémoire chacun; de ces 64 nœuds, 40 sont de 05.To, 16 sont de 1.5To, 6 sont de 4To et 2 sont de 6To.


Globus is a file transfer service

Retrieved from "https://docs.alliancecan.ca/mediawiki/index.php?title=Cedar/fr&oldid=164581"