Niagara Quickstart/fr: Difference between revisions

<languages />  

=Renseignements et spécifications de la grappe=

La grappe Niagara compte 1500 serveurs Lenovo SD350, chacun avec 40 cœurs Skylake de 2.4GHz.

Chaque nœud de la grappe est de 188Gio/202Go dont un minimum de 4Gio par cœur vont aux tâches des utilisateurs. La grappe est conçue pour des tâches parallèles intensives avec un réseau InfiniBand EDR (''Enhanced Data Rate'') à topologie Dragonfly+ et routage dynamique. L'ordonnanceur Slurm accepte les tâches d'une durée d'au moins 15 minutes et d'au plus 12 ou 24 heures en priorisant les tâches intensives.

Visionnez [https://support.scinet.utoronto.ca/education/go.php/370/content.php/cid/1383/ la vidéo de présentation de SciNet].

Pour plus d'information sur les spécifications matérielles, consultez [[Niagara/fr| la page Niagara]].

Si vous êtes un nouvel utilisateur de SciNet et que vous appartenez à un groupe dont le chercheur principal ne dispose pas de ressources allouées par le concours d'allocation de ressources, vous devez [https://www.scinethpc.ca/getting-a-scinet-account/ obtenir un compte SciNet.]

Autrement, comme c'est le cas avec toutes les grappes de Calcul Canada et de SciNet, vous ne pouvez vous connecter que par SSH (''secure shell'').

Pour accéder à Niagara, ouvrez d'abord une fenêtre de terminal (par exemple avec [[Connecting with PuTTY/fr|PuTTY]] sous Windows ou [[Connecting with MobaXTerm/fr|MobaXTerm]]), puis connectez-vous avec SSH aux nœuds de connexion avec les coordonnées de votre compte Calcul Canada.

<source lang="bash">

Si vous ne pouvez vous connecter, vérifiez d'abord [https://docs.scinet.utoronto.ca l'état de la grappe].

= Localisation de vos répertoires =

== Répertoires ''home'' et ''scratch'' ==

Pour localiser vos espaces ''home'' et ''scratch'', utilisez

<code>$HOME=/home/g/groupname/myccusername</code>

<code>$SCRATCH=/scratch/g/groupname/myccusername</code>

Par exemple,

<source lang="bash">nia-login07:~$ pwd

/home/s/scinet/rzon

nia-login07:~$ cd $SCRATCH

nia-login07:rzon$ pwd

/scratch/s/scinet/rzon</source>

== Répertoire ''project'' ==

Les utilisateurs disposant de ressources allouées par le concours 2018 peuvent localiser leur répertoire projet avec

<code>$PROJECT=/project/g/groupname/myccusername</code>

'''''IMPORTANT : Mesure préventive '''''

Puisque les chemins risquent de changer, utilisez plutôt les variables d'environnement (HOME, SCRATCH, PROJECT, ARCHIVE).

{| class="wikitable"

!   

| ?

|}

Mis à part les logiciels essentiels, les applications sont installées via des [[Utiliser des modules|modules]]. Les modules configurent les variables d'environnement (<code>PATH</code>, etc.). Ceci rend disponible plusieurs versions incompatibles d'un même paquet. Pour connaître les logiciels disponibles, utilisez <tt> module spider</tt>.

Il y a en réalité deux environnements logiciels sur Niagara ː

<ol style="list-style-type: decimal;">

<li><p>[[Modules specific to Niagara|La pile logicielle Niagara]] est spécifiquement adaptée à cette grappe. Elle est disponible par défaut, mais au besoin peut être chargée à nouveau avec </p>

<source lang="bash">module load CCEnv</source>

<p>Pour charger les modules par défaut comme ceux de Cedar ou Graham, exécutez aussi <code>module load StdEnv</code>.</p></li></ol>

== Trucs pour le chargement de modules ==

Il '''''n'est pas conseillé''''' de changer des modules dans votre .bashrc de Niagara. Dans certains cas, le comportement peut être très étrange. Au besoin, chargez plutôt les modules manuellement ou par un script distinct et chargez des modules requis pour l'exécution via le script de soumission de votre tâche.

Voyez l'information sur les [https://docs.scinet.utoronto.ca/index.php/Bashrc_guidelines fichiers par défaut .bashrc et .bash_profile].

Instead, load modules by hand when needed, or by sourcing a separate script.

Les noms courts sont pour les versions par défaut; par exemple, <code>intel</code> → <code>intel/2018.2</code>. Il est habituellement préférable de préciser la version pour pouvoir reproduire un cas.

Certains modules requièrent le chargement préalable d'autres modules.

Pour résoudre les dépendances, utilisez <code>module spider</code>.

* Vous devrez peut-être fournir votre propre licence.

* SciNet et Compute Canada desservent des milliers d'utilisateurs de disciplines variées; il n'est pas possible d'accommoder toutes les applications préférées de chacun.

* Nous vous aiderons à installer toute application du commerce pour laquelle vous détenez une licence.

* Dans certains cas, si vous avez une licence, vous pouvez utiliser des applications de la pile logicielle de Calcul Canada.

= Exemple de compilation =

</source>

Note :

* Les indicateurs d'optimisation <tt>-O3 -xHost</tt> permettent au compilateur Intel d'utiliser les instructions spécifiques à l'architecture CPU existante (plutôt que pour des CPU x86_64 plus génériques).

* GSL exige une implémentation cblas qui fait partie de MKL(Intel Math Kernel Library). Il st facile de faire un lien avec cette bibliothèque quand on utilise le compilateur Intel; on n'a besoin que des indicateurs <tt>-mkl</tt>.

* Pour compiler avec gcc, les indicateurs d'optimisation seraient <tt>-O3 -march=native</tt>. Pour faire un lien avec MKL, nous suggérons [https://software.intel.com/en-us/articles/intel-mkl-link-line-advisor MKL link line advisor].

= Tests =

Vous devriez toujours tester votre code avant de soumettre une tâche pour savoir s'il est valide et pour connaître les ressources dont vous avez besoin.

<ul>

<li><p>Les tâches de test courtes peuvent être exécutées sur les nœuds de connexion.</p>

où N est le nombre de nœuds. Si N=1, la session interactive est d'une heure et si N=4 (valeur maximale) la session est de 30 minutes.

</li></ul>

= Soumettre des tâches =

<ul>

<li><p>Niagara utilise l'ordonnanceur Slurm.</p></li>

<li><p>Ceci place la tâche dans la queue; elle sera exécutée sur les nœuds de calcul à son tour. </p></li>

<li><p>Les tâches seront comptabilisées contre l'allocation de Ressources pour les groupes de recherche; si le groupe n'a reçu aucune de ces ressources, la tâche sera comptabilisée contre le Service d'accès rapide  (autrefois ''allocation par défaut'').</p></li></ul>

Souvenez-vous ː

<ul>

<li><p>L'ordonnancement se fait par nœud, donc en multiples de 40 cœurs.</p></li>

<li><p>Les nœuds de calcul ne peuvent accéder à l'internet.</p>

<p>Avant de commencer, téléchargez les données sur un nœud de connexion. </p></li></ul>

== Ordonnancement par nœud ==

<ul>

<li><p>Toutes les requêtes de ressources pour les tâches sont ordonnancées en multiples de '''nœuds'''.</p></li>

<p>Votre tâche obtient toujours Nx202Go de mémoire vive, où N représente le nombre de nœuds.</p></li>

<li><p>Vous devriez essayer d'utiliser tous les cœurs des nœuds alloués à votre tâche. Puisqu'il y a 40 cœurs par nœud, votre tâche devrait utiliser Nx40 cœurs. Si ce n'est pas le cas, nous vous contacterons pour vous aider à optimiser votre travail.</p></li></ul>

== Limits ==

|Compute jobs with an allocation||compute || 50 || 1000 || 1 node (40 cores) || 1000 nodes (40000 cores)|| 15 minutes || 24 hours

|-

|-

|Testing or troubleshooting || debug || 1 || 1 || 1 node (40 cores) || 4 nodes (160 cores)|| N/A || 1 hour

Within these limits, jobs will still have to wait in the queue.  The waiting time depends on many factors such as the allocation amount, how much allocation was used in the recent past, the number of nodes and the walltime, and how many other jobs are waiting in the queue.

== Exemple d'un script de soumission pour MPI ==

Pour exécuter l'application [[MPI/fr|MPI]] nommée <tt>appl_mpi_ex</tt> avec 320 processus, le script serait ː

<source lang="bash">

#!/bin/bash  

#SBATCH --time=1:00:00

cd $SLURM_SUBMIT_DIR

module load intel/2018.2

</source>

Soumettez le script (nommé ici mpi_ex.sh) avec la commande  

<source lang="bash">nia-login07:~$ sbatch mpi_ex.sh</source>

<li>Pour utiliser la fonctionnalité hyperthreading, remplacez <tt>--ntasks=320</tt> par <tt>--ntasks=640</tt> et ajoutez <tt>--bind-to none</tt> à la commande mpirun (seulement avec avec OpenMPI et non IntelMPI).</li>

</ul>

== Exemple d'un script de soumission pour OpenMP ==

<source lang="bash">#!/bin/bash

#SBATCH --nodes=1

#SBATCH --cpus-per-task=40

#SBATCH --time=1:00:00

cd $SLURM_SUBMIT_DIR

module load intel/2018.2

export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK

./openmp_example

# or "srun ./openmp_example".

</source>

Soumettez le script (nommé openmp_ex.sh) avec la commande <source lang="bash">nia-login07:~$ sbatch openmp_ex.sh</source>

* La première ligne mentionne qu'il s'agit d'un script bash.

** exécute l'application  <code>appl_openmp_ex</code>.

* Pour utiliser la fonctionnalité hyperthreading, remplacez <tt>--cpus-per-task=40</tt> par <tt>--cpus-per-task=80</tt>.

= Suivi des tâches en attente =

Une fois la tâche placée dans la queue, suivez son déroulement avec les commandes suivantes ː

<ul>

<li><p><code>squeue</code> ou <code>qsum</code> pour voir les tâches dans la queue (<code>squeue -u $USER</code> pour vos propres tâches);</p></li>

<p>

Puisque ceci n'est pas très précis, vous pourriez vouloir savoir où se trouve votre tâche dans la queue avec la fonction bash suivante ː

Pour en savoir plus, consultez [[Running jobs/fr|Exécuter des tâches]].

= Visualisation =