Infrastructure renewal/fr: Difference between revisions
Jump to navigation
Jump to search
No edit summary Tags: Mobile edit Mobile web edit |
(Updating to match new version of source page) |
||
| (11 intermediate revisions by 2 users not shown) | |||
| Line 9: | Line 9: | ||
=Nouveaux systèmes= | =Nouveaux systèmes= | ||
<div class="mw-translate-fuzzy"> | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| Line 17: | Line 18: | ||
| Rorqual || [[Béluga]] || [[Rorqual|voir cette page]] | | Rorqual || [[Béluga]] || [[Rorqual|voir cette page]] | ||
|- | |- | ||
| Fir || [[Cedar/fr]] || [[Fir/fr|voir cette page]] | | Fir || [[Cedar/fr|Cedar]] || [[Fir/fr|voir cette page]] | ||
|- | |- | ||
| Trillium || [[Niagara/fr]] & [[Mist]] || [[Trillium/fr|voir cette page]] | | Trillium || [[Niagara/fr|Niagara]] & [[Mist/fr|Mist]] || [[Trillium/fr|voir cette page]] | ||
|- | |- | ||
| (à déterminer) || [[Graham/fr]] || <i>en préparation</i> | | (à déterminer) || [[Graham/fr|Graham]] || <i>en préparation</i> | ||
|} | |} | ||
</div> | |||
=Arrêts de services= | |||
L'installation et la transition vers les nouveaux systèmes nous obligeront à suspendre les services en raison de l'espace et de l'alimentation électrique. <br> | |||
Nous vous recommandons de tenir compte de cette possibilité dans votre planification du programme de recherche et des examens, etc. | Nous vous recommandons de tenir compte de cette possibilité dans votre planification du programme de recherche et des examens, etc. | ||
<div class="mw-translate-fuzzy"> | <div class="mw-translate-fuzzy"> | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| '''Début''' || '''Fin''' || '''Système''' || '''Description''' | | '''Début''' || '''Fin''' || '''État''' || '''Système''' || '''Description''' | ||
|- | |- | ||
| 2024-11-07, 6 h HNP || 2024-11-08, 6 h | | 2024-11-25 || 2024-11-26 || en préparation || Niagara || Coupure de courant pour des travaux sur le panneau électrique principal en prévision de l'installation de Trillium. Les tâches qui ne pourront pas se terminer avant le début des travaux seront retenues par l’ordonnanceur jusqu’à la remise en service. Nous vous suggérons de soumettre de courtes tâches nécessitant peu de ressources que l’ordonnanceur pourra placer à l’avance en utilisant la capacité potentiellement disponible de certains nœuds. | ||
|- | |||
| 2024-11-07 || 2024-11-08 || Terminé || Niagara || Tous les systèmes et le stockage situés au centre de données de SciNet (Niagara, Mist, HPSS, Rouge, Teach, JupyterHub, Balam) seront hors service entre 7 h et 17h (HE). Ceci est nécessaire pour installer un nouveau matériel électrique (UPS) requis pour le prochain renouvellement des systèmes. Les travaux devraient pouvoir se faire en une journée. Nous vous suggérons de soumettre de courtes tâches nécessitant peu de ressources que l’ordonnanceur pourra placer à l’avance en utilisant la capacité potentiellement disponible de certains nœuds. | |||
|- | |||
| 2024-11-07, 6 h HNP || 2024-11-08, 6 h HNP || Terminé || Cedar || Les nœuds de calcul ne seront pas disponibles (les tâches ne seront pas exécutées). Le stockage, les nœuds de connexion et le nuage Cedar ne sont pas touchés par les travaux. | |||
|} | |} | ||
</div> | </div> | ||
==Concours pour l'allocation des ressources== | ==Concours pour l'allocation des ressources== | ||
La transition aura un impact sur le [https://www.alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/concours-pour-lallocation-de-ressources concours pour l'allocation des ressources], mais le processus de présentation des demandes reste inchangé | La transition aura un impact sur le [https://www.alliancecan.ca/fr/services/calcul-informatique-de-pointe/acces-aux-ressources/concours-pour-lallocation-de-ressources concours pour l'allocation des ressources], mais le processus de présentation des demandes reste inchangé.<br> | ||
Les allocations pour la période 2024-2025 resteront en vigueur tant que le système utilisé est en service.<br> | Les allocations pour la période 2024-2025 resteront en vigueur tant que le système utilisé est en service.<br> | ||
Si vous détenez des allocations pour la période 2024-2025 et pour la période 2025-2026, aucune ressource ne vous sera disponible pendant un certain temps puisque les services existants seront fermés avant que tous les nouveaux soient en fonction. Vous pourrez alors utiliser votre allocation par défaut (<code>def-xxxxxx</code>) sur le nouveau système parce que votre allocation pour 2025-2026 ne sera disponible que lorsque tous les nouveaux systèmes seront en fonction. | Si vous détenez des allocations pour la période 2024-2025 et pour la période 2025-2026, aucune ressource ne vous sera disponible pendant un certain temps puisque les services existants seront fermés avant que tous les nouveaux soient en fonction. Vous pourrez alors utiliser votre allocation par défaut (<code>def-xxxxxx</code>) sur le nouveau système parce que votre allocation pour 2025-2026 ne sera disponible que lorsque tous les nouveaux systèmes seront en fonction. | ||
=Activités générales= | =Activités générales= | ||
{| class="wikitable" | {| class="wikitable" | ||
|- | |||
| 2024-11-08 || Les problèmes du 7 novembre sont résolus. Les travaux sur l'alimentation et le refroidissement se poursuivent dans tous les sites. Du matériel a été livré à tous les sites et l'installation se fera en novembre et décembre. Des arrêts de service majeurs sont en planification pour décembre et janvier; l'information vous sera transmise dès que possible. | |||
|- | |- | ||
| 2024-10-07 || Les mises à jour de l'infrastructure (alimentation et refroidissement) sont en analyse. Les calendriers ne sont toujours pas disponibles, mais des arrêts de service d'un jour ou plus devraient être ncessaires en novembre. | | 2024-10-07 || Les mises à jour de l'infrastructure (alimentation et refroidissement) sont en analyse. Les calendriers ne sont toujours pas disponibles, mais des arrêts de service d'un jour ou plus devraient être ncessaires en novembre. | ||
| Line 58: | Line 60: | ||
| 2024-10-03 || Tous les sites ont préparé leurs appels d'offres et planifient les biens livrables et les bons de commande avec les fournisseurs. | | 2024-10-03 || Tous les sites ont préparé leurs appels d'offres et planifient les biens livrables et les bons de commande avec les fournisseurs. | ||
|} | |} | ||
<div lang="en" dir="ltr" class="mw-content-ltr"> | <div lang="en" dir="ltr" class="mw-content-ltr"> | ||
=User Training Resources= | |||
{| class="wikitable" | {| class="wikitable" | ||
|- | |- | ||
| | | '''Course Title''' || '''Course Provider''' || '''Instructor''' || '''Date''' || '''Description''' || '''Audience''' || '''Format''' || '''Registration''' | ||
|- | |||
| Survival guide for the upcoming GPU upgrades || SHARCNET || Sergey Mashchenko || Wednesday, November 20, 2024, 12:00 PM to 1:00 PM ET || In the coming months, national systems will be undergoing significant upgrades. In particular, older GPUs (P100, V100) will be replaced with the newest H100 GPUs from NVIDIA. The total GPU computing power of the upgraded systems will grow by a factor of 3.5, but the number of GPUs will decrease significantly (from 3200 to 2100). This will present a significant challenge for users, as the usual practice of using a whole GPU for each process or MPI rank will no longer be feasible in most cases. Fortunately, NVIDIA provides two powerful technologies that can be used to mitigate this situation: MPS (Multi-Process Service) and MIG (Multi-Instance GPU). The presentation will walk the audience through both technologies and discuss the ways they can be used on the clusters. The discussion will include how to determine which approach will work best for specific code, and a live demonstration will be given at the end. ||Prospective users of the upgraded systems. Users intending to use a substantial amount of H100 resources (e.g., more than one GPU at a time, and/or over 24 hours runtime) || 1-hour live presentation, recorded for later access || No registration required. [https://www.computeontario.ca/training-colloquia/lnumzw0vas8z6awbxwa6viu4tqyb3p More info] | |||
|- | |||
|} | |} | ||
</div> | </div> | ||
| Line 91: | Line 88: | ||
Oui, notre [[Standard software environments/fr|environnement logiciel standard]] sera disponible sur les nouveaux systèmes. | Oui, notre [[Standard software environments/fr|environnement logiciel standard]] sera disponible sur les nouveaux systèmes. | ||
== Les logiciels commerciaux sous licence seront-ils migrés sur les nouveaux systèmes? == | |||
Oui. Dans la mesure du possible, vous aurez le même accès pour ce type d'application (Gaussian, AMS/ADF, etc.). Les fournisseurs pourraient modifier les conditions, mais le risque est faible. Nous vous informerons des cas susceptibles de se présenter. | |||
== Les arrêts de service seront-ils échelonnés? == | == Les arrêts de service seront-ils échelonnés? == | ||
Latest revision as of 16:42, 14 November 2024
Importante mise à jour de notre infrastructure de calcul informatique de pointe
L'importante mise à jour de notre infrastructure de calcul informatique de pointe qui se fera à la fin de 2024 et au début de 2025 permettra d’améliorer nos services de calcul de haute performance et nos services infonuagiques pour soutenir la recherche au Canada. Le contenu de cette page sera mis à jour au fur et à mesure que les informations sont disponibles
Près de 80 % de nos équipements actuels qui approchent de leur fin de vie seront remplacés. Le nouveau matériel offrira une vitesse de traitement plus rapide, une plus grande capacité de stockage et une fiabilité améliorée.
Nouveaux systèmes
| nouveau système | système remplacé | Documentation |
| Arbutus | (aucun changement) | en préparation |
| Rorqual | Béluga | voir cette page |
| Fir | Cedar | voir cette page |
| Trillium | Niagara & Mist | voir cette page |
| (à déterminer) | Graham | en préparation |
Arrêts de services
L'installation et la transition vers les nouveaux systèmes nous obligeront à suspendre les services en raison de l'espace et de l'alimentation électrique.
Nous vous recommandons de tenir compte de cette possibilité dans votre planification du programme de recherche et des examens, etc.
| Début | Fin | État | Système | Description |
| 2024-11-25 | 2024-11-26 | en préparation | Niagara | Coupure de courant pour des travaux sur le panneau électrique principal en prévision de l'installation de Trillium. Les tâches qui ne pourront pas se terminer avant le début des travaux seront retenues par l’ordonnanceur jusqu’à la remise en service. Nous vous suggérons de soumettre de courtes tâches nécessitant peu de ressources que l’ordonnanceur pourra placer à l’avance en utilisant la capacité potentiellement disponible de certains nœuds. |
| 2024-11-07 | 2024-11-08 | Terminé | Niagara | Tous les systèmes et le stockage situés au centre de données de SciNet (Niagara, Mist, HPSS, Rouge, Teach, JupyterHub, Balam) seront hors service entre 7 h et 17h (HE). Ceci est nécessaire pour installer un nouveau matériel électrique (UPS) requis pour le prochain renouvellement des systèmes. Les travaux devraient pouvoir se faire en une journée. Nous vous suggérons de soumettre de courtes tâches nécessitant peu de ressources que l’ordonnanceur pourra placer à l’avance en utilisant la capacité potentiellement disponible de certains nœuds. |
| 2024-11-07, 6 h HNP | 2024-11-08, 6 h HNP | Terminé | Cedar | Les nœuds de calcul ne seront pas disponibles (les tâches ne seront pas exécutées). Le stockage, les nœuds de connexion et le nuage Cedar ne sont pas touchés par les travaux. |
Concours pour l'allocation des ressources
La transition aura un impact sur le concours pour l'allocation des ressources, mais le processus de présentation des demandes reste inchangé.
Les allocations pour la période 2024-2025 resteront en vigueur tant que le système utilisé est en service.
Si vous détenez des allocations pour la période 2024-2025 et pour la période 2025-2026, aucune ressource ne vous sera disponible pendant un certain temps puisque les services existants seront fermés avant que tous les nouveaux soient en fonction. Vous pourrez alors utiliser votre allocation par défaut (def-xxxxxx) sur le nouveau système parce que votre allocation pour 2025-2026 ne sera disponible que lorsque tous les nouveaux systèmes seront en fonction.
Activités générales
| 2024-11-08 | Les problèmes du 7 novembre sont résolus. Les travaux sur l'alimentation et le refroidissement se poursuivent dans tous les sites. Du matériel a été livré à tous les sites et l'installation se fera en novembre et décembre. Des arrêts de service majeurs sont en planification pour décembre et janvier; l'information vous sera transmise dès que possible. |
| 2024-10-07 | Les mises à jour de l'infrastructure (alimentation et refroidissement) sont en analyse. Les calendriers ne sont toujours pas disponibles, mais des arrêts de service d'un jour ou plus devraient être ncessaires en novembre. |
| 2024-10-13 | Les soumissions aux appels d'offres ont été analysées pour tous les sites sauf Rorqual (qui remplacera Béluga) et les fournisseurs ont reçu les bons de commande. Le processus pour le stockage sur Rorqual est toujours en cours et devrait être fermé le 18 septembre. Tous les sites travaillent sur la conception des l'infrastructure (alimentation et refroidissement) et la mise en œuvre. Il y aura sans doute des arrêts de services au cours de l'automne pour permettre les travaux de câblage et de plomberie. |
| 2024-10-03 | Tous les sites ont préparé leurs appels d'offres et planifient les biens livrables et les bons de commande avec les fournisseurs. |
User Training Resources
| Course Title | Course Provider | Instructor | Date | Description | Audience | Format | Registration |
| Survival guide for the upcoming GPU upgrades | SHARCNET | Sergey Mashchenko | Wednesday, November 20, 2024, 12:00 PM to 1:00 PM ET | In the coming months, national systems will be undergoing significant upgrades. In particular, older GPUs (P100, V100) will be replaced with the newest H100 GPUs from NVIDIA. The total GPU computing power of the upgraded systems will grow by a factor of 3.5, but the number of GPUs will decrease significantly (from 3200 to 2100). This will present a significant challenge for users, as the usual practice of using a whole GPU for each process or MPI rank will no longer be feasible in most cases. Fortunately, NVIDIA provides two powerful technologies that can be used to mitigate this situation: MPS (Multi-Process Service) and MIG (Multi-Instance GPU). The presentation will walk the audience through both technologies and discuss the ways they can be used on the clusters. The discussion will include how to determine which approach will work best for specific code, and a live demonstration will be given at the end. | Prospective users of the upgraded systems. Users intending to use a substantial amount of H100 resources (e.g., more than one GPU at a time, and/or over 24 hours runtime) | 1-hour live presentation, recorded for later access | No registration required. More info |
Foire aux questions
Mes données seront-elles migrées sur leur nouveau système?
La migration des données est la responsabilité de chacun des sites hôtes nationaux; vous recevrez l'information sur les actions à prendre.
Les arrêts de service sont-ils prévisibles?
Chacun des sites hôtes nationaux gère les arrêts de service qui seront requis pendant l'installation et la transition; ils seront rapportés sur notre page web sur l'État des systèmes. La présente page wiki sera modifiée au fur et à mesure que l'information est disponible et vous recevrez périodiquement par courriel des avis et des mises à jour.
Qui peut répondre à mes questions sur la transition?
Le soutien technique tentera de vous informer, mais il se peut que l'information ne leur soit pas encore connue.
Les nouveaux systèmes sont-ils compatibles avec mes tâches et mes applications?
Règle générale, oui. Il est possible que certaines applications doivent être recompilées ou reconfigurées selon les nouveaux CPU et GPU. Vous recevrez l'information au fur et à mesure de la transition.
Les logiciels sur les systèmes existants seront-ils toujours disponibles?
Oui, notre environnement logiciel standard sera disponible sur les nouveaux systèmes.
Les logiciels commerciaux sous licence seront-ils migrés sur les nouveaux systèmes?
Oui. Dans la mesure du possible, vous aurez le même accès pour ce type d'application (Gaussian, AMS/ADF, etc.). Les fournisseurs pourraient modifier les conditions, mais le risque est faible. Nous vous informerons des cas susceptibles de se présenter.
Les arrêts de service seront-ils échelonnés?
Nous ferons tout ce qui est possible pour limiter les arrêts de service qui se chevauchent, mais comme nous sommes très contraints par les calendriers de livraison et les délais de financement, il y aura probablement des périodes où plusieurs de nos systèmes seront hors ligne simultanément. Nous vous en informerons le plus tôt possible.
Est-il possible d'acheter le matériel qui sera retiré de l'infrastructure?
La grande partie de l'équipement est la propriété des établissements hôtes qui s'en départissent selon les standards que chacun établit. En règle générale, le matériel est acheminé au recyclage. Contactez l'établissement hôte pour savoir s'il existe la possibilité de vous en procurer.