Portail: Difference between revisions
(→Aperçu) |
|||
| (31 intermediate revisions by 2 users not shown) | |||
| Line 2: | Line 2: | ||
== Aperçu == | == Aperçu == | ||
Ajouter une description pour les différentes sections. | |||
[[File:Aperçu de la page d'accueil du portail.png|thumb|900px|center]] | [[File:Aperçu de la page d'accueil du portail.png|thumb|900px|center]] | ||
Le portail est un site web destiné aux usagers de l'Alliance. Il utilise les informations collectées sur les nœuds de calcul et les serveurs de gestion pour produire de façon interactive des données permettant aux usagers de suivre leur utilisation des ressources (CPU, GPU, mémoire, système de fichiers) en temps réel. | Le portail est un site web destiné aux usagers de l'Alliance. Il utilise les informations collectées sur les nœuds de calcul et les serveurs de gestion pour produire de façon interactive des données permettant aux usagers de suivre leur utilisation des ressources (CPU, GPU, mémoire, système de fichiers) en temps réel. | ||
| Line 13: | Line 17: | ||
| [https://portail.narval.calculquebec.ca https://portail.narval.calculquebec.ca] | | [https://portail.narval.calculquebec.ca https://portail.narval.calculquebec.ca] | ||
|} | |} | ||
== Sommaire utilisateur == | == Sommaire utilisateur == | ||
| Line 28: | Line 29: | ||
Le premier bloc représente votre utilisation en cours (Coeurs CPU, mémoire et GPUs). Ces statistiques représentent la moyenne de toutes les tâche qui roulent. Vous pouvez comparer facilement ce qui vous est alloué et ce que vous utilisez. | Le premier bloc représente votre utilisation en cours (Coeurs CPU, mémoire et GPUs). Ces statistiques représentent la moyenne de toutes les tâche qui roulent. Vous pouvez comparer facilement ce qui vous est alloué et ce que vous utilisez. | ||
[[File:Utilisation en cours.png|thumb|900px|center]] | [[File:Utilisation en cours.png|thumb|900px|center]] | ||
Vous avez ensuite une moyenne des derniers jours sous forme de graphique. | Vous avez ensuite une moyenne des derniers jours sous forme de graphique. | ||
[[File:Coeur CPU Mémoire.png|thumb|900px|center]] | [[File:Coeur CPU Mémoire.png|thumb|900px|center]] | ||
Vous avez ensuite une représentation de votre activité sur les systèmes de fichiers. À gauche, vous avez le nombre de commandes d'écriture sur disque que vous avez effectuées. (''input/output operations per second (IOPS)'') À droite, vous avez une représentation du data qui a été transféré sur les serveurs sur une période donnée. (Bande passante) | Vous avez ensuite une représentation de votre activité sur les systèmes de fichiers. À gauche, vous avez le nombre de commandes d'écriture sur disque que vous avez effectuées. (''input/output operations per second (IOPS)'') À droite, vous avez une représentation du data qui a été transféré sur les serveurs sur une période donnée. (Bande passante) | ||
[[File:Système de fichier.png|thumb|900px|center]] | [[File:Système de fichier.png|thumb|900px|center]] | ||
La prochaine section représente l'ensemble des tâches que vous avez déjà lancées, qui roulent présentement ou bien qui sont en attentent. En haut à gauche, vous pouvez faire une recherche par status (OOM, completed, running, etc.). En haut à droite, vous pouvez faire une recherche par numéro de tâche (Job ID) ou bien par le nom. En bas à droite, vous avez l'option de faire des sauts de plusieurs page à la fois. | La prochaine section représente l'ensemble des tâches que vous avez déjà lancées, qui roulent présentement ou bien qui sont en attentent. En haut à gauche, vous pouvez faire une recherche par status (OOM, completed, running, etc.). En haut à droite, vous pouvez faire une recherche par numéro de tâche (Job ID) ou bien par le nom. En bas à droite, vous avez l'option de faire des sauts de plusieurs page à la fois. | ||
[[File:Vos tâches top-2.png|thumb|900px|center]] | [[File:Vos tâches top-2.png|thumb|900px|center]] | ||
[[File:Vos tâches bottom-2.png|thumb|900px|center]] | [[File:Vos tâches bottom-2.png|thumb|900px|center]] | ||
=== Page d'une tâche | === Page d'une tâche CPU === | ||
Vous avez en haut le nom de la tâche, son numéro et votre nom d'utilisateur ainsi que le status. Les détails de votre script de soumission vont être affiché en cliquant sur <span style="color:white; background-color:blue">Voir le script de la tâche</span>. | Vous avez en haut le nom de la tâche, son numéro et votre nom d'utilisateur ainsi que le status. Les détails de votre script de soumission vont être affiché en cliquant sur <span style="color:white; background-color:blue">Voir le script de la tâche</span>. [Ajouter une note comme quoi parfois le script de tâche n'est pas disponible ainsi que la raison] | ||
[[File:Détails sur la tâche-2.png|thumb|900px|center]] | [[File:Détails sur la tâche-2.png|thumb|900px|center]] | ||
| Line 43: | Line 48: | ||
[[File:Commande de soumission-3.png|thumb|900px|center]] | [[File:Commande de soumission-3.png|thumb|900px|center]] | ||
La prochaine section est réservée aux informations de l'ordonnanceur. Vous pouvez accéder à la page de votre compte CPU en cliquant sur le numéro de votre compte. | |||
[[File:Information ordonnanceur-2.png|thumb|900px|center]] | [[File:Information ordonnanceur-2.png|thumb|900px|center]] | ||
| Line 55: | Line 60: | ||
[[File:Mémoire.png|thumb|900px|center]] | [[File:Mémoire.png|thumb|900px|center]] | ||
Le graphique '''Process and threads''' vous permet d'observer différents paramètres reliés aux processus et aux fils d'exécutions. Idéalement, pour une tâche multifils (multithreading), l'addition du paramètre '''Running threads''' et '''Sleeping threads''' ne devrait pas dépasser de 2 fois le nombre de coeurs demandé. Cela dit, il tout de même normal d'avoir quelques processus en mode '' | Le graphique '''Process and threads''' vous permet d'observer différents paramètres reliés aux processus et aux fils d'exécutions. Idéalement, pour une tâche multifils (multithreading), l'addition du paramètre '''Running threads''' et '''Sleeping threads''' ne devrait pas dépasser de 2 fois le nombre de coeurs demandé. Cela dit, il tout de même normal d'avoir quelques processus en mode '''dormant''' (''Sleeping threads'') pour certain type de programmes (java, Matlab, logiciels commercial ou programmes complexes). Vous avez aussi en paramètre les applications du programme qui sont exécutées dans le temps. | ||
[[File:Process and threads.png|thumb|900px|center]] | [[File:Process and threads.png|thumb|900px|center]] | ||
| Line 67: | Line 72: | ||
[[File:Puissance.png|thumb|900px|center]] | [[File:Puissance.png|thumb|900px|center]] | ||
=== Page d'une tâche CPU (vecteur de tâches, ''job array'')=== | |||
La page d'une tâche CPU en vecteur de tâches est identique à celle d'une tâche CPU régulière à l'exception de la section ''Other jobs in the array''. Le tableau liste les autres numéros de tâches faisant partie du même vecteur de tâches, ainsi que des informations sur leur statut, leur nom, leur heure de début et leur heure de fin. | |||
[[File:CPU job array.png|thumb|900px|center]] | |||
=== Page d'une tâche GPU === | |||
Vous avez en haut le nom de la tâche, son numéro et votre nom d'utilisateur ainsi que le status. Les détails de votre script de soumission vont être affiché en cliquant sur <span style="color:white; background-color:blue">Voir le script de la tâche</span>. [Ajouter une note comme quoi parfois le script de tâche n'est pas disponible ainsi que la raison] | |||
[[File:Détail de la tâche.png|thumb|900px|center]] | |||
Le répertoire et la commande de soumission sont disponibles en cliquant sur <span style="color:white; background-color:blue">Voir la commande de soumission</span>. | |||
[[File:Commande de soumission-GPU.png|thumb|900px|center]] | |||
La prochaine section est réservée aux informations de l'ordonnanceur. Vous pouvez accéder à la page de votre compte GPU en cliquant sur le numéro de votre compte. | |||
[[File:Information ordonnanceur-GPU.png|thumb|900px|center]] | |||
Dans la section '''Ressources''' vous pouvez avoir une première idée de l'utilisation des ressources de votre tâche en comparant les colonnes '''Alloués''' et '''Utilisés''' pour les différents paramètres en liste. | |||
[[File:Ressources-GPU.png|thumb|900px|center]] | |||
Le graphique '''CPU''' vous permet de voir l'utilisation dans le temps des coeurs CPUs que vous avez demandés. À droite, vous pouvez sélectionner/désélectionner les différents coeurs au besoin. Notez que pour des tâches très courtes, il n'est pas possible d'obtenir ce graphique. | |||
[[File:CPU ressources utilisés détails.png|thumb|900px|center]] | |||
Le graphique '''Mémoire''' vous permet de voir l'utilisation dans le temps de la mémoire que vous avez demandée pour les CPUs. | |||
[[File:Mémoire-GPU.png|thumb|900px|center]] | |||
Le graphique '''Process and threads''' vous permet d'observer différents paramètres reliés aux processus et aux fils d'exécutions. | |||
[[File:Processes and threads-GPU.png|thumb|900px|center]] | |||
[[File:Systeme de fichiers-GPU.png|thumb|900px|center]] | |||
Le graphique GPU représente votre utilisation des GPUs. Le ''Streaming Multiprocessors'' (SM) active représente combien de temps le GPU est en train d'utiliser un warp (un groupe de ''threads'' consécutifs) dans la dernière fenêtre d'échantillonnage. Cette valeur devrait être autour de 80%. Pour le SM occpancy (qui est défini comme le rapport du nombre de warps affectés à un SM divisé par le nombre maximum de warps que peut gérer un SM), vous devriez avoir une valeur autour de 50%. Pour le tensor, la valeur devrait être la plus haute possible. Idéalement, votre code devrait rouler sur cette partie de la carte GPU qui est optimisée pour les multiplications/ convolutions de matrices multidimensionnelles. Pour les ''floating point'' FP64, FP32 et FP16, vous devriez avoir des valeurs pour un seul d'entre eux. | |||
[[File:GPU cycles de calcul utilisé.png|thumb|900px|center]] | |||
[[File:Mémoire GPU.png|thumb|900px|center]] | |||
[[File:Puissance GPU.png|thumb|900px|center]] | |||
[[File:Bande passante-GPU.png|thumb|900px|center]] | |||
[[File:Ressources du noeud.png|thumb|900px|center]] | |||
[[File:IOPS.png|thumb|900px|center]] | |||
[[File:Espace utilisé.png|thumb|900px|center]] | |||
[[File:Puissance utilisé.png|thumb|900px|center]] | |||
== Statistiques d'un compte == | == Statistiques d'un compte == | ||
La section statistique d'un compte regroupe l'utilisation de votre groupe dans une section CPU et GPU. | |||
[[File:Portail Utilisateur vos comptes.png|thumb|900px|center]] | [[File:Portail Utilisateur vos comptes.png|thumb|900px|center]] | ||
| Line 75: | Line 130: | ||
=== Statistiques d'un compte CPU === | === Statistiques d'un compte CPU === | ||
On retrouve la somme des demandes de votre groupe pour les coeurs CPUs et leur utilisation correspondante des derniers mois. Vous pouvez aussi suivre votre priorité qui évolue selon votre utilisation. | |||
[[File:Utilisation du compte.png|thumb|900px|center]] | [[File:Utilisation du compte.png|thumb|900px|center]] | ||
Ce graphique représente les applications les plus couramment utilisées. | |||
[[File:Application used CPU.png|thumb|900px|center]] | [[File:Application used CPU.png|thumb|900px|center]] | ||
Vous pouvez voir ici l'utilisation de chacun des utilisateurs de votre groupe. | |||
[[File:Utilisation détaillée par utilisateur.png|thumb|900px|center]] | [[File:Utilisation détaillée par utilisateur.png|thumb|900px|center]] | ||
Le graphique suivant représente les coeurs CPUs gaspillés par utilisateur dans le temps. | |||
[[File:Coeur CPU gaspillé.png|thumb|900px|center]] | [[File:Coeur CPU gaspillé.png|thumb|900px|center]] | ||
Vous pouvez voir ici l'utilisation de la mémoire pour chacun des utilisateurs de votre groupe. | |||
[[File:Mémoire compte.png|thumb|900px|center]] | [[File:Mémoire compte.png|thumb|900px|center]] | ||
Ce graphique représente la mémoire gaspillée pour chaque utilisateur. | |||
[[File:Mémoire gaspillée.png|thumb|900px|center]] | [[File:Mémoire gaspillée.png|thumb|900px|center]] | ||
[[File:Système de fichier compte.png|thumb|900px|center]] | [[File:Système de fichier compte.png|thumb|900px|center]] | ||
Vous avez une liste des dernières tâches qui ont été effectuées globalement pour le groupe. | |||
[[File:Tâches en cours-1.png|thumb|900px|center]] | [[File:Tâches en cours-1.png|thumb|900px|center]] | ||
[[File:Tâche en cours-2.png|thumb|900px|center]] | |||
=== Statistiques d'un compte GPU === | |||
On retrouve la somme des demandes GPUs de votre groupe et l'utilisation correspondante des derniers mois. Vous pouvez aussi suivre votre priorité qui évolue selon votre utilisation. | |||
[[File:Utilisation compte GPU détails.png|thumb|900px|center]] | |||
Ce graphique représente les applications les plus couramment utilisées. | |||
[[File:Application utilisé compte GPU.png|thumb|900px|center]] | |||
Vous pouvez voir ici l'utilisation de chacun des utilisateurs de votre groupe. | |||
[[File:GPU utilisé par utilisateur compte GPU.png|thumb|900px|center]] | |||
Le graphique suivant représente les GPUs gaspillés pour chaque utilisateur dans le temps. | |||
[[File:GPU gaspillé compte GPU.png|thumb|900px|center]] | |||
Vous avez par la suite les coeurs CPUs alloués et utilisés dans vos tâches GPU. | |||
[[File:CPU compte GPU.png|thumb|900px|center]] | |||
On représente ici le gaspillage des CPUs pour vos tâches GPU. | |||
[[File:Coeur CPU gaspillé compte GPU.png|thumb|900px|center]] | |||
Vous pouvez voir ici l'utilisation de la mémoire pour chacun des utilisateurs de votre groupe. | |||
[[File:Mémoire compte GPU.png|thumb|900px|center]] | |||
Ce graphique représente la mémoire gaspillée pour chaque utilisateur. | |||
[[File:Mémoire gaspillée GPU.png|thumb|900px|center]] | |||
[[File:Système de fichier GPU.png|thumb|900px|center]] | |||
Vous avez une liste des dernières tâches qui ont été effectuées globalement pour le groupe. | |||
[[File:Tâches en cours-1.png|thumb|900px|center]] | |||
[[File:Tâche en cours-2.png|thumb|900px|center]] | [[File:Tâche en cours-2.png|thumb|900px|center]] | ||
== Statistiques du cloud == | |||
Le premier tableau « Vos instances » présente toutes les machines virtuelles associées à un compte. La colonne « Saveur » réfère au [[Virtual_machine_flavors/fr|type de machine virtuelle]]. La colonne « UUID » correspond à un identifiant unique associé à chaque machine virtuelle. | |||
[[File:Tableau vos instances.png|thumb|900px|center]] | |||
Puis, chaque machine virtuelle a ses statistiques d'utilisation (Coeurs CPU, Mémoire, Bande passante disque, IOPS disque et Bande passante réseau) affichables pour le dernier mois, la dernière semaine, le dernier jour ou la dernière heure. | |||
[[File:Coeurs CPU.png|thumb|900px|center]] | |||
[[File:Mémoire cloud.png|thumb|900px|center]] | |||
[[File:Bande passante disque cloud.png|thumb|900px|center]] | |||
[[File:IOPS disque.png|thumb|900px|center]] | |||
[[File:Bande passante réseau cloud.png|thumb|900px|center]] | |||
Latest revision as of 18:48, 7 November 2024
This is not a complete article: This is a draft, a work in progress that is intended to be published into an article, which may or may not be ready for inclusion in the main wiki. It should not necessarily be considered factual or authoritative.
Aperçu
Ajouter une description pour les différentes sections.
Le portail est un site web destiné aux usagers de l'Alliance. Il utilise les informations collectées sur les nœuds de calcul et les serveurs de gestion pour produire de façon interactive des données permettant aux usagers de suivre leur utilisation des ressources (CPU, GPU, mémoire, système de fichiers) en temps réel.
| Béluga | https://portail.beluga.calculquebec.ca |
| Narval | https://portail.narval.calculquebec.ca |
Sommaire utilisateur
Sous l'onglet sommaire utilisateur, vous allez retrouver vos quotas des différents systèmes de fichiers, suivi de vos 10 dernières tâches. Vous pouvez en sélectionner une par son numéro et accéder à la page détaillée. De plus, en cliquant sur (Plus de détails), vous allez être redirigé directement vers l'onglet Statistique des tâches, où vous allez retrouver toutes vos tâches.
Statistiques des tâches
Le premier bloc représente votre utilisation en cours (Coeurs CPU, mémoire et GPUs). Ces statistiques représentent la moyenne de toutes les tâche qui roulent. Vous pouvez comparer facilement ce qui vous est alloué et ce que vous utilisez.
Vous avez ensuite une moyenne des derniers jours sous forme de graphique.
Vous avez ensuite une représentation de votre activité sur les systèmes de fichiers. À gauche, vous avez le nombre de commandes d'écriture sur disque que vous avez effectuées. (input/output operations per second (IOPS)) À droite, vous avez une représentation du data qui a été transféré sur les serveurs sur une période donnée. (Bande passante)
La prochaine section représente l'ensemble des tâches que vous avez déjà lancées, qui roulent présentement ou bien qui sont en attentent. En haut à gauche, vous pouvez faire une recherche par status (OOM, completed, running, etc.). En haut à droite, vous pouvez faire une recherche par numéro de tâche (Job ID) ou bien par le nom. En bas à droite, vous avez l'option de faire des sauts de plusieurs page à la fois.
Page d'une tâche CPU
Vous avez en haut le nom de la tâche, son numéro et votre nom d'utilisateur ainsi que le status. Les détails de votre script de soumission vont être affiché en cliquant sur Voir le script de la tâche. [Ajouter une note comme quoi parfois le script de tâche n'est pas disponible ainsi que la raison]
Le répertoire et la commande de soumission sont disponibles en cliquant sur Voir la commande de soumission.
La prochaine section est réservée aux informations de l'ordonnanceur. Vous pouvez accéder à la page de votre compte CPU en cliquant sur le numéro de votre compte.
Dans la section Ressources vous pouvez avoir une première idée de l'utilisation des ressources de votre tâche en comparant les colonnes Alloués et Utilisés pour les différents paramètres en liste.
Le graphique CPU vous permet de voir l'utilisation dans le temps des coeurs CPUs que vous avez demandés. À droite, vous pouvez sélectionner/désélectionner les différents coeurs au besoin. Notez que pour des tâches très courtes, il n'est pas possible d'obtenir ce graphique.
Le graphique Mémoire vous permet de voir l'utilisation dans le temps de la mémoire que vous avez demandée.
Le graphique Process and threads vous permet d'observer différents paramètres reliés aux processus et aux fils d'exécutions. Idéalement, pour une tâche multifils (multithreading), l'addition du paramètre Running threads et Sleeping threads ne devrait pas dépasser de 2 fois le nombre de coeurs demandé. Cela dit, il tout de même normal d'avoir quelques processus en mode dormant (Sleeping threads) pour certain type de programmes (java, Matlab, logiciels commercial ou programmes complexes). Vous avez aussi en paramètre les applications du programme qui sont exécutées dans le temps.
Page d'une tâche CPU (vecteur de tâches, job array)
La page d'une tâche CPU en vecteur de tâches est identique à celle d'une tâche CPU régulière à l'exception de la section Other jobs in the array. Le tableau liste les autres numéros de tâches faisant partie du même vecteur de tâches, ainsi que des informations sur leur statut, leur nom, leur heure de début et leur heure de fin.
Page d'une tâche GPU
Vous avez en haut le nom de la tâche, son numéro et votre nom d'utilisateur ainsi que le status. Les détails de votre script de soumission vont être affiché en cliquant sur Voir le script de la tâche. [Ajouter une note comme quoi parfois le script de tâche n'est pas disponible ainsi que la raison]
Le répertoire et la commande de soumission sont disponibles en cliquant sur Voir la commande de soumission.
La prochaine section est réservée aux informations de l'ordonnanceur. Vous pouvez accéder à la page de votre compte GPU en cliquant sur le numéro de votre compte.
Dans la section Ressources vous pouvez avoir une première idée de l'utilisation des ressources de votre tâche en comparant les colonnes Alloués et Utilisés pour les différents paramètres en liste.
Le graphique CPU vous permet de voir l'utilisation dans le temps des coeurs CPUs que vous avez demandés. À droite, vous pouvez sélectionner/désélectionner les différents coeurs au besoin. Notez que pour des tâches très courtes, il n'est pas possible d'obtenir ce graphique.
Le graphique Mémoire vous permet de voir l'utilisation dans le temps de la mémoire que vous avez demandée pour les CPUs.
Le graphique Process and threads vous permet d'observer différents paramètres reliés aux processus et aux fils d'exécutions.
Le graphique GPU représente votre utilisation des GPUs. Le Streaming Multiprocessors (SM) active représente combien de temps le GPU est en train d'utiliser un warp (un groupe de threads consécutifs) dans la dernière fenêtre d'échantillonnage. Cette valeur devrait être autour de 80%. Pour le SM occpancy (qui est défini comme le rapport du nombre de warps affectés à un SM divisé par le nombre maximum de warps que peut gérer un SM), vous devriez avoir une valeur autour de 50%. Pour le tensor, la valeur devrait être la plus haute possible. Idéalement, votre code devrait rouler sur cette partie de la carte GPU qui est optimisée pour les multiplications/ convolutions de matrices multidimensionnelles. Pour les floating point FP64, FP32 et FP16, vous devriez avoir des valeurs pour un seul d'entre eux.
Statistiques d'un compte
La section statistique d'un compte regroupe l'utilisation de votre groupe dans une section CPU et GPU.
Statistiques d'un compte CPU
On retrouve la somme des demandes de votre groupe pour les coeurs CPUs et leur utilisation correspondante des derniers mois. Vous pouvez aussi suivre votre priorité qui évolue selon votre utilisation.
Ce graphique représente les applications les plus couramment utilisées.
Vous pouvez voir ici l'utilisation de chacun des utilisateurs de votre groupe.
Le graphique suivant représente les coeurs CPUs gaspillés par utilisateur dans le temps.
Vous pouvez voir ici l'utilisation de la mémoire pour chacun des utilisateurs de votre groupe.
Ce graphique représente la mémoire gaspillée pour chaque utilisateur.
Vous avez une liste des dernières tâches qui ont été effectuées globalement pour le groupe.
Statistiques d'un compte GPU
On retrouve la somme des demandes GPUs de votre groupe et l'utilisation correspondante des derniers mois. Vous pouvez aussi suivre votre priorité qui évolue selon votre utilisation.
Ce graphique représente les applications les plus couramment utilisées.
Vous pouvez voir ici l'utilisation de chacun des utilisateurs de votre groupe.
Le graphique suivant représente les GPUs gaspillés pour chaque utilisateur dans le temps.
Vous avez par la suite les coeurs CPUs alloués et utilisés dans vos tâches GPU.
On représente ici le gaspillage des CPUs pour vos tâches GPU.
Vous pouvez voir ici l'utilisation de la mémoire pour chacun des utilisateurs de votre groupe.
Ce graphique représente la mémoire gaspillée pour chaque utilisateur.
Vous avez une liste des dernières tâches qui ont été effectuées globalement pour le groupe.
Statistiques du cloud
Le premier tableau « Vos instances » présente toutes les machines virtuelles associées à un compte. La colonne « Saveur » réfère au type de machine virtuelle. La colonne « UUID » correspond à un identifiant unique associé à chaque machine virtuelle.
Puis, chaque machine virtuelle a ses statistiques d'utilisation (Coeurs CPU, Mémoire, Bande passante disque, IOPS disque et Bande passante réseau) affichables pour le dernier mois, la dernière semaine, le dernier jour ou la dernière heure.
