Béluga: Difference between revisions
No edit summary |
(Marked this version for translation) |
||
| (3 intermediate revisions by 2 users not shown) | |||
| Line 11: | Line 11: | ||
|- | |- | ||
| Nœud de copie (rsync, scp, sftp,...) : '''beluga.alliancecan.ca''' | | Nœud de copie (rsync, scp, sftp,...) : '''beluga.alliancecan.ca''' | ||
|- | |||
| Portail : https://portail.beluga.calculquebec.ca/ | |||
|} | |} | ||
| Line 16: | Line 18: | ||
Béluga est une grappe hétérogène et polyvalente conçue pour les calculs ordinaires; elle est située à l'[http://www.etsmtl.ca/ École de technologie supérieure]. Son nom rappelle la [https://fr.wikipedia.org/wiki/B%C3%A9luga_(c%C3%A9tac%C3%A9) baleine béluga], un mammifère marin vivant dans les eaux du fleuve Saint-Laurent. | Béluga est une grappe hétérogène et polyvalente conçue pour les calculs ordinaires; elle est située à l'[http://www.etsmtl.ca/ École de technologie supérieure]. Son nom rappelle la [https://fr.wikipedia.org/wiki/B%C3%A9luga_(c%C3%A9tac%C3%A9) baleine béluga], un mammifère marin vivant dans les eaux du fleuve Saint-Laurent. | ||
=Particularités= <!--T:3--> | ==Particularités== <!--T:3--> | ||
Notre politique veut que les nœuds de calcul de Béluga n'aient pas accès à l'internet. Pour y faire exception, contactez le [[Technical_support/fr|soutien technique]] en expliquant ce dont vous avez besoin et pourquoi. Notez que l'outil <code>crontab</code> n'est pas offert. | Notre politique veut que les nœuds de calcul de Béluga n'aient pas accès à l'internet. Pour y faire exception, contactez le [[Technical_support/fr|soutien technique]] en expliquant ce dont vous avez besoin et pourquoi. Notez que l'outil <code>crontab</code> n'est pas offert. | ||
| Line 22: | Line 24: | ||
Chaque tâche devrait être d'une durée d’au moins une heure (au moins cinq minutes pour les tâches de test) et un utilisateur ne peut avoir plus de 1000 tâches (en exécution et en attente) à la fois. La durée maximale d'une tâche est 7 jours (168 heures). | Chaque tâche devrait être d'une durée d’au moins une heure (au moins cinq minutes pour les tâches de test) et un utilisateur ne peut avoir plus de 1000 tâches (en exécution et en attente) à la fois. La durée maximale d'une tâche est 7 jours (168 heures). | ||
=Stockage= <!--T:5--> | ==Stockage== <!--T:5--> | ||
<!--T:6--> | <!--T:6--> | ||
| Line 64: | Line 66: | ||
de connexion. | de connexion. | ||
=Réseautique haute performance= <!--T:16--> | ==Réseautique haute performance== <!--T:16--> | ||
<!--T:17--> | <!--T:17--> | ||
Le réseau Infiniband EDR (100 Gb/s) de Mellanox relie tous les nœuds de la grappe. Un commutateur central de 324 ports rassemble les connexions des îlots avec un facteur de blocage maximum de 5:1. Les serveurs de stockage sont branchés avec une interconnexion non bloquante. L’architecture permet de multiples tâches parallèles avec jusqu’à 640 cœurs (voire plus) grâce à une réseautique non bloquante. Pour les tâches plus imposantes, le facteur de blocage est de 5:1; même pour les tâches exécutées sur plusieurs îlots, l’interconnexion est de haute performance. | Le réseau Infiniband EDR (100 Gb/s) de Mellanox relie tous les nœuds de la grappe. Un commutateur central de 324 ports rassemble les connexions des îlots avec un facteur de blocage maximum de 5:1. Les serveurs de stockage sont branchés avec une interconnexion non bloquante. L’architecture permet de multiples tâches parallèles avec jusqu’à 640 cœurs (voire plus) grâce à une réseautique non bloquante. Pour les tâches plus imposantes, le facteur de blocage est de 5:1; même pour les tâches exécutées sur plusieurs îlots, l’interconnexion est de haute performance. | ||
=Caractéristiques des nœuds= <!--T:19--> | ==Caractéristiques des nœuds== <!--T:19--> | ||
Le mode Turbo est maintenant activé sur tous les noeuds de Béluga. | Le mode Turbo est maintenant activé sur tous les noeuds de Béluga. | ||
{| class="wikitable sortable" | {| class="wikitable sortable" | ||
| Line 89: | Line 91: | ||
<!--T:20--> | <!--T:20--> | ||
* Pour obtenir un plus grand espace <code>$SLURM_TMPDIR</code>, il faut demander <code>--tmp=xG</code>, où <code>x</code> est une valeur entre 350 et 2490. | * Pour obtenir un plus grand espace <code>$SLURM_TMPDIR</code>, il faut demander <code>--tmp=xG</code>, où <code>x</code> est une valeur entre 350 et 2490. | ||
==Suivi de vos tâches== <!--T:21--> | |||
Depuis le [https://portail.beluga.calculquebec.ca/ portail], vous pouvez suivre vos tâches de calculs CPU comme GPU en temps "réel" ou celles passées afin de maximiser l'utilisation des ressources et diminuer vos temps d'attentes dans la file. | |||
<!--T:22--> | |||
Vous pourrez notamment visualiser pour une tâche : | |||
* l'utilisation des cœurs de calcul; | |||
* la mémoire utilisée; | |||
* l'utilisation de GPUs; | |||
<!--T:23--> | |||
Il est important d'utiliser les ressources allouées et de rectifier vos demandes lorsque les ressources de calculs sont peu ou pas utilisés. | |||
Par exemple, si vous demander quatre cœurs (cpus) mais n'en utilisez qu'un seul, vous devez ajuster votre fichier de soumission en conséquence. | |||
</translate> | </translate> | ||
Latest revision as of 16:21, 19 July 2024
| Disponibilité : mars 2019 |
| Nœud frontal : beluga.alliancecan.ca |
| Point de chute Globus : computecanada#beluga-dtn |
| Nœud de copie (rsync, scp, sftp,...) : beluga.alliancecan.ca |
| Portail : https://portail.beluga.calculquebec.ca/ |
Béluga est une grappe hétérogène et polyvalente conçue pour les calculs ordinaires; elle est située à l'École de technologie supérieure. Son nom rappelle la baleine béluga, un mammifère marin vivant dans les eaux du fleuve Saint-Laurent.
Particularités[edit]
Notre politique veut que les nœuds de calcul de Béluga n'aient pas accès à l'internet. Pour y faire exception, contactez le soutien technique en expliquant ce dont vous avez besoin et pourquoi. Notez que l'outil crontab n'est pas offert.
Chaque tâche devrait être d'une durée d’au moins une heure (au moins cinq minutes pour les tâches de test) et un utilisateur ne peut avoir plus de 1000 tâches (en exécution et en attente) à la fois. La durée maximale d'une tâche est 7 jours (168 heures).
Stockage[edit]
| HOME Système de fichiers Lustre, 105 To d’espace au total |
|
| SCRATCH Système de fichiers Lustre, 2.6 Po d’espace au total |
|
| PROJECT Système de fichiers Lustre, 25 Po d’espace au total |
|
Pour les transferts de données par Globus, on devrait utiliser le point de chute computecanada#beluga-dtn, alors que pour les outils comme rsync et scp, on peut utiliser un nœud
de connexion.
Réseautique haute performance[edit]
Le réseau Infiniband EDR (100 Gb/s) de Mellanox relie tous les nœuds de la grappe. Un commutateur central de 324 ports rassemble les connexions des îlots avec un facteur de blocage maximum de 5:1. Les serveurs de stockage sont branchés avec une interconnexion non bloquante. L’architecture permet de multiples tâches parallèles avec jusqu’à 640 cœurs (voire plus) grâce à une réseautique non bloquante. Pour les tâches plus imposantes, le facteur de blocage est de 5:1; même pour les tâches exécutées sur plusieurs îlots, l’interconnexion est de haute performance.
Caractéristiques des nœuds[edit]
Le mode Turbo est maintenant activé sur tous les noeuds de Béluga.
| nœuds | cœurs | mémoire disponible | CPU | stockage | GPU |
|---|---|---|---|---|---|
| 160 | 40 | 92G ou 95000M | 2 x Intel Gold 6148 Skylake @ 2.4 GHz | 1 x SSD de 480G | - |
| 579 | 40 | 186G ou 191000M | 2 x Intel Gold 6148 Skylake @ 2.4 GHz | 1 x SSD de 480G | - |
| 10 | 6 x SSD de 480G | ||||
| 51 | 40 | 752G ou 771000M | 2 x Intel Gold 6148 Skylake @ 2.4 GHz | 1 x SSD de 480G | - |
| 2 | 6 x SSD de 480G | ||||
| 172 | 40 | 186G ou 191000M | 2 x Intel Gold 6148 Skylake @ 2.4 GHz | 1 x SSD NVMe de 1.6T | 4 x NVidia V100SXM2 (mémoire 16G), connectés via NVLink |
- Pour obtenir un plus grand espace
$SLURM_TMPDIR, il faut demander--tmp=xG, oùxest une valeur entre 350 et 2490.
Suivi de vos tâches[edit]
Depuis le portail, vous pouvez suivre vos tâches de calculs CPU comme GPU en temps "réel" ou celles passées afin de maximiser l'utilisation des ressources et diminuer vos temps d'attentes dans la file.
Vous pourrez notamment visualiser pour une tâche :
- l'utilisation des cœurs de calcul;
- la mémoire utilisée;
- l'utilisation de GPUs;
Il est important d'utiliser les ressources allouées et de rectifier vos demandes lorsque les ressources de calculs sont peu ou pas utilisés. Par exemple, si vous demander quatre cœurs (cpus) mais n'en utilisez qu'un seul, vous devez ajuster votre fichier de soumission en conséquence.