Cedar/fr: Difference between revisions

[[Transferring_data|Transférer des données]]<br>

=Stockage=

{| class="wikitable sortable"

Le stockage temporaire (/scratch) est un système de fichiers Lustre basé sur la technologie DDN, modèle ES14K. Il est composé de 640 disques NL-SAS de 8To chacun, avec un double contrôleur de métadonnées dont les disques sont des SSD.

=Réseautique haute performance=

<i>Réseautique Intel OmniPath (version 1, bande passante de 100Gbit/s).</i>

L'architecture a été planifiée pour supporter de multiples tâches parallèles utilisant jusqu'à 1024 cœurs Broadwell (32 nœuds) ou 1536 cœurs Skylake (32 nœuds) ou 1536 cœurs Cascade Lake (32 nœuds) grâce à une réseautique non bloquante. Pour les plus grandes tâches, le réseau a un facteur de blocage de 2:1. Même pour les tâches de plusieurs milliers de cœurs, Cedar est une bonne option.

=Caractéristiques des nœuds=

Cedar offre 100,400 cœurs CPU pour le calcul et 1352 GPU. TurboBoost est désactivé sur tous les nœuds.

Tous les nœuds ont de l'espace de stockage local temporaire. Les nœuds de calcul (à l'exception des nœuds GPU) ont deux disques SSD de 480Go pour une capacité totale de 960Go. Les nœuds GPU ont un disque SSD de 800Go ou de 480Go. Utilisez le stockage local sur le nœud par le biais du répertoire créé pour la tâche par l'ordonnanceur. Voir  [[Using node-local storage/fr|Stockage local sur les nœuds de calcul]].

==Sélectionner un type de nœud==

Un certain nombre de nœuds de 48 cœurs sont réservés pour les tâches qui nécessitent des nœuds entiers. Aucun nœud de 32 cœurs n'est réservé pour les calculs avec des nœuds entiers. <b>Les tâches qui nécessitent moins de 48 cœurs par nœud pourraient donc avoir à partager des nœuds avec d'autres tâches</b>.

<br>

La plupart des applications peuvent être exécutées sur les nœuds Broadwell, Skylake ou Cascade Lake et la différence en performance ne devrait pas être significative en comparaison des temps d'attente. Nous vous recommandons de ne pas spécifier le type de nœud pour vos tâches. Par contre, s'il est nécessaire de demander un type particulier, utilisez <code>--constraint=cascade</code>, <code>--constraint=skylake</code> ou <code>--constraint=broadwell</code>.  Si vous avez besoin d'un nœud AVX512, utilisez <code>--constraint=[skylake|cascade]</code>.

= Modification à la politique de soumission et exécution de tâches =

Depuis le <b>17 avril 2019</b>, les tâches ne peuvent plus être exécutées dans le système de fichiers <code>/home</code>. Cette modification a pour but de diminuer la charge et d'améliorer le temps de réponse en mode interactif dans <code>/home</code>. Si le message <code>Submitting jobs from directories residing in /home is not permitted</code> s'affiche, transférez les fichiers vers votre répertoire <code>/project</code> ou <code>/scratch</code> et soumettez la tâche à partir du nouvel emplacement.

==Performance==

La performance théorique maximale en double précision est de 6547 téraflops pour les CPU auxquels s'ajoutent 7434 téraflops pour les GPU, pour un total de près de 14 pétaflops.

La topologie réseau est une composition d'îlots avec un facteur de blocage de 2:1 entre chacun. La plupart des îlots ont 32 nœuds entièrement reliés par une interconnexion (<i>Omni-Path fabric</i>) non bloquante.