Diskusage Explorer/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
(Updating to match new version of source page)
No edit summary
 
(51 intermediate revisions by 3 users not shown)
Line 1: Line 1:
<languages />
<languages />


==Content of Folders==
==Contenu des répertoires==


<span style="color:red">Warning, at the moment this feature is only available on [[Béluga]]</span>
<span style="color:red">Important : Pour l'instant, cet outil est seulement disponible sur [[Béluga]] et [[Narval]].</span>


You can get a breakdown by folder of how the diskspace is being consumed in your home, scratch and project spaces. That information is currently updated once a day and is stored in a portable SQLite format for fast access.  
L'outil Diskusage Explorer vous permet d'obtenir le détail de l'utilisation de l'espace dans vos répertoires /home, /scratch et /project. Cette information est mise à jour quotidiennement et est triée selon un format [[SQLite/fr|SQLite]] pour un accès rapide.  


Here is a walkthrough of how to explore at your disk consumption, using the example of the project space, where <code>$GROUP</code> will be the particular folder to investigate.
Dans notre exemple, nous verrons la consommation de l'espace disque du répertoire <code>def-professor</code> dans /project.


=== Ncurse User Interface ===
=== Interface ncurse ===
First list all the projects that you have access to:
Sélectionnez un espace /project auquel vous avez accès et que vous voulez analyser; dans notre exemple, nous analysons <tt>def-professor</tt>.
<pre>
{{Command|diskusage_explorer /project/def-professor}}
ls ~/projects/
 
    def-bourqueg  def-lathrop  def-poq-ab  rrg-bourqueg-ad  rrg-lathrop
Cette commande charge un navigateur qui montre les ressources consommées par tous les fichiers dans l'arborescence d'un répertoire.
</pre>
[[File:Ncurse duc.png|thumb|using|450px|frame|left| Naviguer avec l'outil ncurse de duc]]
We will take the def-poq-ab project as an example,
<pre>
GROUP=def-poq-ab
duc ui -d /project/.duc_databases/${GROUP}.sqlite  /project/${GROUP}
</pre>
This command loads a browser that shows the resources consumed by all files under any directory tree
[[File:Ncurse duc.png|thumb|using|450px|frame|left| Navigating you project space with duc ncurse tool]]
<br clear=all> <!-- This is to prevent the next section from filling to the right of the image. -->
<br clear=all> <!-- This is to prevent the next section from filling to the right of the image. -->


Type <code>c</code> to toggle between consumed disk space and the number of files, <code>q</code> or <code><esc></code> to quit and <code>h</code> for help
Entrez <code>c</code> pour alterner entre l'espace disque consommé et le nombre de fichiers, <code>q</code> ou <code><esc></code> pour quitter et <code>h</code> pour l'aide.


If you are only interested in a <code>/project/${GROUP}</code> subfolder and do not want to navigate the whole tree in the ncurse user interface,  
Pour ne consulter qu'un sous-répertoire de cet espace /project sans avoir à naviguer dans toute l'arborescence, utilisez 
<pre>
{{Command|diskusage_explorer /project/def-professor/subdirectory/}}
duc ui -d /project/.duc_databases/${GROUP}.sqlite  /project/${GROUP}/some/subfolder/
</pre>


A complete manual page is available with the <code>man duc</code> command.
La commande <code>man duc</code> affiche une page du manuel.


=== Graphical User Interface ===
=== Interface graphique ===


Note that when the login node is especially busy or if you have an especially large amount of files in you project space, the graphical interface mode can be slow and choppy. For a better experience, you can read the section below to run <code>diskusage_explorer</code> on your own machine.
Si le nœud de connexion est particulièrement occupé ou si vous avez un trop grand nombre de fichiers dans votre espace /project, l'affichage peut être lent et irrégulier. Pour de meilleurs résultats, voyez comment utiliser <code>diskusage_explorer</code> sur votre propre ordinateur.


Note that Compute Canada recommends the use of the standard text-based <code>ui</code> mode on our cluster login nodes but <code>diskusage_explorer</code> does also include a nice graphical user interface (GUI).  
Nous recommandons d'utiliser le mode texte ncurse standard sur nos nœuds de connexion, mais <code>diskusage_explorer</code> inclut aussi une belle interface graphique.  


First make sure that you are connected to the cluster using ssh's <code>-Y</code> option
Assurez-vous d'abord que votre connexion [[SSH/fr|SSH]] fait en sorte que l'affichage des applications d'interfaces se fait correctement. Vous pouvez alors utiliser une interface graphique avec la commande
<pre>
{{Command|duc gui -d /project/.duc_databases/def-professor.sqlite  /project/def-professor}}
ssh -Y  poq@beluga.calculcanada.ca
</pre>
You can then make a window appear
<pre>
GROUP=def-poq-ab
duc gui -d /project/.duc_databases/${GROUP}.sqlite  /project/${GROUP}
</pre>


You can navigate the folders with the mouse and still type <code>c</code> to toggle between the size of the files and the number of files.
Vous pouvez naviguer avec la souris et aussi utiliser <code>c</code> pour alterner entre la taille des fichiers et le nombre de fichiers.


[[File:Duc gui navigation.gif|thumb|using|450px|frame|left|Navigating you project space with duc GUI tool]]
[[File:Duc gui navigation.gif|thumb|using|450px|frame|left|Naviguer avec l'outil d'interface graphique de duc]]
<br clear=all> <!-- This is to prevent the next section from filling to the right of the image. -->
<br clear=all> <!-- This is to prevent the next section from filling to the right of the image. -->


=== Browse faster on your own machine ===
=== Naviguer plus rapidement sur votre ordinateur ===


First [http://duc.zevv.nl/#download install the diskusage_explorer software] on your local machine and then, still on your local machine, download the SQLite file from your cluster and run <code>duc</code>.   
[http://duc.zevv.nl/#download Installez d'abord le logiciel diskusage_explorer] sur votre ordinateur local puis, toujours sur votre ordinateur local, téléchargez le fichier SQLite de votre grappe et lancez <code>duc</code>.   


<pre>
<pre>
MYUSERNAME=poq
rsync -v --progress username@beluga.calculcanada.ca:/project/.duc_databases/def-professor.sqlite  .
GROUP=def-poq-ab
duc gui -d ./def-professor.sqlite  /project/def-professor
rsync -v --progress ${MYUSERNAME}@beluga.calculcanada.ca:/project/.duc_databases/${GROUP}.sqlite  .
duc gui -d ./${GROUP}.sqlite  /project/${GROUP}
</pre>
</pre>


This immediately leads to a smoother and more satisfying browsing experience.
Vous pourrez ainsi naviguer de manière plus agréable.
 
== Espace utilisé et nombre de fichiers par utilisateur sur Cedar ==
 
Sur Cedar, chaque membre d'un groupe peut obtenir les données sur l'utilisation de l'espace et la quantité de fichiers par utilisateur avec la commande  <code>diskusage_report</code> et les options <code>--per_user</code> et <code>--all_users</code>. Avec la première option, la commande fait afficher seulement les membres du groupe qui ont le plus de fichiers et/ou qui occupent le plus d'espace. En ajoutant la deuxième option, on obtient l'utilisation  par tous les membres. Cette commande permet d'identifier les utilisateurs qui pourraient mieux gérer leurs données.
 
Dans le prochain exemple, l'utilisateur <b>user01</b> lance la commande et obtient le résultat suivant&nbsp;:
 
<source lang="bash">
[user01@cedar1 ~]$ diskusage_report --per_user --all_users
                            Description                Space          # de fichiers
                    /home (user user01)            109k/50G              12/500k
                  /scratch (user user01)            4000/20T              1/1000k
                /project (group user01)              0/2048k              0/1025
          /project (group def-professor)            9434G/10T            497k/500k
 
Breakdown for project def-professor (Last update: 2023-05-02 01:03:10)
          User      File count                Size            Location
-------------------------------------------------------------------------
        user01          28313            4.00 GiB              On disk
        user02          11926            3.74 GiB              On disk
        user03          14507          6121.03 GiB              On disk
        user04            4010          377.86 GiB              On disk
        user05          125929          262.75 GiB              On disk
        user06          201099            60.51 GiB              On disk
        user07          84806          1721.33 GiB              On disk
        user08          26516          947.23 GiB              On disk
          Total          497106          9510.43 GiB              On disk
 
Breakdown for nearline def-professor (Last update: 2023-05-02 01:01:30)
          User      File count                Size            Location
-------------------------------------------------------------------------
        user03              5          1197.90 GiB    On disk and tape
          Total              5          1197.90 GiB    On disk and tape
</source>
 
Ce groupe est composé de 8 utilisateurs et le résultat obtenu montre clairement que 4 d'entre eux ont une grande quantité de fichiers qui ne contiennent que peu de données.
 
<source lang="bash">
          User      File count                Size            Location
-------------------------------------------------------------------------
        user01          28313            4.00 GiB              On disk
        user02          11926            3.74 GiB              On disk
        user05          125929          262.75 GiB              On disk
        user06          201099            60.51 GiB              On disk
</source>

Latest revision as of 20:22, 16 January 2024

Other languages:

Contenu des répertoires

Important : Pour l'instant, cet outil est seulement disponible sur Béluga et Narval.

L'outil Diskusage Explorer vous permet d'obtenir le détail de l'utilisation de l'espace dans vos répertoires /home, /scratch et /project. Cette information est mise à jour quotidiennement et est triée selon un format SQLite pour un accès rapide.

Dans notre exemple, nous verrons la consommation de l'espace disque du répertoire def-professor dans /project.

Interface ncurse

Sélectionnez un espace /project auquel vous avez accès et que vous voulez analyser; dans notre exemple, nous analysons def-professor.

Question.png 
[name@server ~]$ diskusage_explorer /project/def-professor

Cette commande charge un navigateur qui montre les ressources consommées par tous les fichiers dans l'arborescence d'un répertoire.

Naviguer avec l'outil ncurse de duc


Entrez c pour alterner entre l'espace disque consommé et le nombre de fichiers, q ou <esc> pour quitter et h pour l'aide.

Pour ne consulter qu'un sous-répertoire de cet espace /project sans avoir à naviguer dans toute l'arborescence, utilisez

Question.png 
[name@server ~]$ diskusage_explorer /project/def-professor/subdirectory/

La commande man duc affiche une page du manuel.

Interface graphique

Si le nœud de connexion est particulièrement occupé ou si vous avez un trop grand nombre de fichiers dans votre espace /project, l'affichage peut être lent et irrégulier. Pour de meilleurs résultats, voyez comment utiliser diskusage_explorer sur votre propre ordinateur.

Nous recommandons d'utiliser le mode texte ncurse standard sur nos nœuds de connexion, mais diskusage_explorer inclut aussi une belle interface graphique.

Assurez-vous d'abord que votre connexion SSH fait en sorte que l'affichage des applications d'interfaces se fait correctement. Vous pouvez alors utiliser une interface graphique avec la commande

Question.png 
[name@server ~]$ duc gui -d /project/.duc_databases/def-professor.sqlite  /project/def-professor

Vous pouvez naviguer avec la souris et aussi utiliser c pour alterner entre la taille des fichiers et le nombre de fichiers.

Naviguer avec l'outil d'interface graphique de duc


Naviguer plus rapidement sur votre ordinateur

Installez d'abord le logiciel diskusage_explorer sur votre ordinateur local puis, toujours sur votre ordinateur local, téléchargez le fichier SQLite de votre grappe et lancez duc. 

rsync -v --progress username@beluga.calculcanada.ca:/project/.duc_databases/def-professor.sqlite  .
duc gui -d ./def-professor.sqlite  /project/def-professor

Vous pourrez ainsi naviguer de manière plus agréable.

Espace utilisé et nombre de fichiers par utilisateur sur Cedar

Sur Cedar, chaque membre d'un groupe peut obtenir les données sur l'utilisation de l'espace et la quantité de fichiers par utilisateur avec la commande diskusage_report et les options --per_user et --all_users. Avec la première option, la commande fait afficher seulement les membres du groupe qui ont le plus de fichiers et/ou qui occupent le plus d'espace. En ajoutant la deuxième option, on obtient l'utilisation par tous les membres. Cette commande permet d'identifier les utilisateurs qui pourraient mieux gérer leurs données.

Dans le prochain exemple, l'utilisateur user01 lance la commande et obtient le résultat suivant : 

[user01@cedar1 ~]$ diskusage_report --per_user --all_users
                             Description                Space           # de fichiers
                     /home (user user01)             109k/50G              12/500k
                  /scratch (user user01)             4000/20T              1/1000k
                 /project (group user01)              0/2048k               0/1025
          /project (group def-professor)            9434G/10T            497k/500k

Breakdown for project def-professor (Last update: 2023-05-02 01:03:10)
           User      File count                 Size             Location
-------------------------------------------------------------------------
         user01           28313             4.00 GiB              On disk
         user02           11926             3.74 GiB              On disk
         user03           14507          6121.03 GiB              On disk
         user04            4010           377.86 GiB              On disk
         user05          125929           262.75 GiB              On disk
         user06          201099            60.51 GiB              On disk
         user07           84806          1721.33 GiB              On disk
         user08           26516           947.23 GiB              On disk
          Total          497106          9510.43 GiB              On disk

Breakdown for nearline def-professor (Last update: 2023-05-02 01:01:30)
           User      File count                 Size             Location
-------------------------------------------------------------------------
         user03               5          1197.90 GiB     On disk and tape
          Total               5          1197.90 GiB     On disk and tape

Ce groupe est composé de 8 utilisateurs et le résultat obtenu montre clairement que 4 d'entre eux ont une grande quantité de fichiers qui ne contiennent que peu de données. 

           User      File count                 Size             Location
-------------------------------------------------------------------------
         user01           28313             4.00 GiB              On disk
         user02           11926             3.74 GiB              On disk
         user05          125929           262.75 GiB              On disk
         user06          201099            60.51 GiB              On disk
Retrieved from "https://docs.alliancecan.ca/mediawiki/index.php?title=Diskusage_Explorer/fr&oldid=149109"