Cedar/fr: Difference between revisions
Updating to match new version of source page |
No edit summary |
||
| Line 91: | Line 91: | ||
As of '''April 17, 2019''', jobs can no longer run in the <code>/home</code> filesystem. The policy was put in place to reduce the load on this filesystem and improve the responsiveness for interactive work. If you get the message <code>you are not permitted to submit jobs from that directory</code> when submitting a job, transfer the files either to your <code>/project</code> or <code>/scratch</code> directory and submit the job from there. | As of '''April 17, 2019''', jobs can no longer run in the <code>/home</code> filesystem. The policy was put in place to reduce the load on this filesystem and improve the responsiveness for interactive work. If you get the message <code>you are not permitted to submit jobs from that directory</code> when submitting a job, transfer the files either to your <code>/project</code> or <code>/scratch</code> directory and submit the job from there. | ||
=Performance= | |||
Cedar a en théorie un total de 58 416 cœurs CPU de calcul et 584 accélérateurs GPU. La performance théorique maximale en double précision est de 936 teraflops pour les CPU auxquels s'ajoutent 2744 teraflops pour les GPU, pour un total de 3.6 petaflops. Il y a 22 ilots de 32 nœuds complètement connectés par une interconnexion non-blocante (''Omni-Path fabric''), chacun avec un total de 1024 cœurs; chaque ilot devrait générer plus de 30 teraflops de performance double précision mesurée. Il y a un facteur de blocage de 2:1 entre les ilots de 1024 cœurs. Les nœuds Skylake sont répartis sur 20 ilots non-blocants de 32 nœuds, chacun offrant 1536 cœurs. | Cedar a en théorie un total de 58 416 cœurs CPU de calcul et 584 accélérateurs GPU. La performance théorique maximale en double précision est de 936 teraflops pour les CPU auxquels s'ajoutent 2744 teraflops pour les GPU, pour un total de 3.6 petaflops. Il y a 22 ilots de 32 nœuds complètement connectés par une interconnexion non-blocante (''Omni-Path fabric''), chacun avec un total de 1024 cœurs; chaque ilot devrait générer plus de 30 teraflops de performance double précision mesurée. Il y a un facteur de blocage de 2:1 entre les ilots de 1024 cœurs. Les nœuds Skylake sont répartis sur 20 ilots non-blocants de 32 nœuds, chacun offrant 1536 cœurs. | ||
<noinclude> | <noinclude> | ||
</noinclude> | </noinclude> | ||
Revision as of 19:07, 18 April 2019
| Disponibilité : depuis le 30 juin dans le cadre du concours d'allocation des ressources 2017 |
| Nœud frontal (login node) : cedar.calculcanada.ca |
| Point de chute Globus : computecanada.ca#cedar |
| État de la grappe : https://www.westgrid.ca/support/system_status |
Cedar est une grappe hétérogène adaptée pour une grande variété de types de tâches; elle est située à l'Université Simon-Fraser. Son nom rappelle le cèdre de l'Ouest, arbre officiel de la Colombie-Britannique dont la signification spirituelle est importante pour les Premières Nations de la région.
Le fournisseur est Scalar Decisions Inc.; les nœuds sont des produits Dell; le système de fichiers de stockage /scratch haute performance est de DDN; la réseautique est d'Intel. Un système de refroidissement liquide utilise des échangeurs de chaleur à même les portes arrière.
Voyez de courtes vidéos sur les notions de base pour l'utilisation de Cedar.
Stockage
| espace home volume total 250To |
|
| espace scratch, volume total 3.7Po système de fichiers parallèle de haute performance |
|
| espace projet volume total 10Po stockage persistant externe |
|
Le stockage temporaire (scratch) est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.
Réseautique haute performance
Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).
Une réseautique à faible latence et haute performance pour tous les nœuds de calcul et le stockage temporaire.
L'architecture a été planifiée pour supporter de multiples tâches parallèles jusqu'à 1024 cœurs Broadwell (32 nœuds) ou 1536 cœurs Skylake(32 nœuds)grâce à une réseautique non-blocante. Pour les tâches de plus de 1024 cœurs, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.
Types et caractéristiques des nœuds
Cedar offre 58,416 cœurs CPU pour le calcul et 584 GPU.
| Quantité | Type de nœud | Cœurs | Mémoire disponible | Matériel |
|---|---|---|---|---|
| 576 | base 128G | 32 | 125G ou 128000M | deux Intel E5-2683 v4 Broadwell de 2.1Ghz |
| 128 | large 256G | 32 | 250G ou 257000M | comme base |
| 24 | large 512G | 32 | 502G ou 515000M | comme base |
| 24 | bigmem1500 1.5T | 32 | 1510G ou 1547000M | comme base |
| 4 | bigmem3000 3T | 32 | 3022G ou 3095000M | quatre Intel E7-4809 v4 Broadwell de 2.1Ghz |
| 114 | base GPU | 24 | 125G ou 128000M |
|
| 32 | large GPU | 24 | 250G ou 257000M |
|
| 640 | Skylake | 48 | 187G ou 192000M | deux Intel Platinum 8160F Skylake de 2.1Ghz |
Remarquez que la quantité de mémoire disponible est moindre que la valeur arrondie suggérée par la configuration matérielle. Par exemple, les nœuds de type base 128G ont effectivement 128Gio de mémoire vive, mais une certaine quantité est utilisée en permanence par le noyau (kernel) et le système d'exploitation. Pour éviter la perte de temps encourue par le swapping ou le paging, l'ordonnanceur n'allouera jamais une tâche dont les exigences dépassent la quantité de mémoire disponible indiquée dans le tableau ci-dessus.
Tous les nœuds ont de l'espace de stockage local temporaire. Les nœuds GPU ont un disque SSD de 800Go et tous les autres ont deux disques SSD de 480Go pour une capacité totale de 960Go. Pour accéder le stockage local pour le nœud, il est recommandé d'utiliser le répertoire temporaire $SLURM_TMPDIR créé par l'ordonnanceur à cet effet; consultez Exécuter des tâches.
Sélectionner un type de nœud
La plupart des applications peuvent être exécutées sur les nœuds Broadwell et Skylake et la différence en performance ne devrait pas être significative en comparaison des temps d'attente. Nous vous recommandons de ne pas spécifier le type de nœud pour vos tâches. Par contre, s'il est nécessaire de demander un type particulier, utilisez --constraint=skylake ou --constraint=broadwell; consultez Sélectionner une architecture CPU.
Submitting and running jobs policy
As of April 17, 2019, jobs can no longer run in the /home filesystem. The policy was put in place to reduce the load on this filesystem and improve the responsiveness for interactive work. If you get the message you are not permitted to submit jobs from that directory when submitting a job, transfer the files either to your /project or /scratch directory and submit the job from there.
Performance
Cedar a en théorie un total de 58 416 cœurs CPU de calcul et 584 accélérateurs GPU. La performance théorique maximale en double précision est de 936 teraflops pour les CPU auxquels s'ajoutent 2744 teraflops pour les GPU, pour un total de 3.6 petaflops. Il y a 22 ilots de 32 nœuds complètement connectés par une interconnexion non-blocante (Omni-Path fabric), chacun avec un total de 1024 cœurs; chaque ilot devrait générer plus de 30 teraflops de performance double précision mesurée. Il y a un facteur de blocage de 2:1 entre les ilots de 1024 cœurs. Les nœuds Skylake sont répartis sur 20 ilots non-blocants de 32 nœuds, chacun offrant 1536 cœurs.