38,760
edits
Storage and file management/fr: Difference between revisions
Updating to match new version of source page
(Updating to match new version of source page) |
(Updating to match new version of source page) |
||
| Line 2: | Line 2: | ||
==Introduction== | ==Introduction== | ||
Calcul Canada dispose de nombreuses options de stockage capables de répondre aux besoins des utilisateurs œuvrant dans des domaines extrêmement variés. Selon vos besoins et votre usage particulier, vous avez le choix parmi différentes solutions allant du stockage long terme au stockage local temporaire à haute vitesse. Dans la plupart des cas, les [https://fr.wikipedia.org/wiki/Syst%C3%A8me_de_fichiers systèmes de fichiers] de Calcul Canada sont des ressources partagées et devraient être utilisés de manière responsable; en effet, des dizaines et même des centaines d'utilisateurs peuvent être affectés par un seul utilisateur qui se comporte de manière irréfléchie. Ces systèmes de fichiers sont conçus pour le stockage d'un nombre limité de très grands fichiers, habituellement de type binaire puisque les très gros fichiers texte (centaines de Mo et plus) ne sont pas facilement lisibles par un être humain; pour cette raison, vous devriez éviter de stocker des milliers de petits fichiers de quelques mégaoctets, particulièrement dans le même répertoire. Une meilleure approche serait d'utiliser des commandes telles que <tt>tar</tt> ou <tt>zip</tt> pour convertir un répertoire de plusieurs petits fichiers en un très grand fichier d'archive; consultez [https://docs.computecanada.ca/wiki/Archiving_and_compressing_files Archiving and compressing files]. | <div class="mw-translate-fuzzy"> | ||
Calcul Canada dispose de nombreuses options de stockage capables de répondre aux besoins des utilisateurs œuvrant dans des domaines extrêmement variés. Selon vos besoins et votre usage particulier, vous avez le choix parmi différentes solutions allant du stockage long terme au stockage local temporaire à haute vitesse. Dans la plupart des cas, les [https://fr.wikipedia.org/wiki/Syst%C3%A8me_de_fichiers systèmes de fichiers] de Calcul Canada sont des ressources partagées et devraient être utilisés de manière responsable; en effet, des dizaines et même des centaines d'utilisateurs peuvent être affectés par un seul utilisateur qui se comporte de manière irréfléchie. Ces systèmes de fichiers sont conçus pour le stockage d'un nombre limité de très grands fichiers, habituellement de type binaire puisque les très gros fichiers texte (centaines de Mo et plus) ne sont pas facilement lisibles par un être humain; pour cette raison, vous devriez éviter de stocker des milliers de petits fichiers de quelques mégaoctets, particulièrement dans le même répertoire. Une meilleure approche serait d'utiliser des commandes telles que <tt>tar</tt> ou <tt>zip</tt> pour convertir un répertoire de plusieurs petits fichiers en un très grand fichier d'archive; consultez [https://docs.computecanada.ca/wiki/Archiving_and_compressing_files Archiving and compressing files]. | |||
</div> | |||
Il est de votre responsabilité de vérifier depuis quand vos données sont stockées. Le rôle de la plupart des systèmes de fichiers n'est pas d'offrir un service d'archivage à long terme; vous devez donc déplacer les fichiers et répertoires qui ne sont plus utilisés vers un autre endroit, que ce soit sur votre ordinateur personnel ou une autre ressource de stockage que vous contrôlez. Le transfert de grandes quantités de données se fait généralement avec [https://docs.computecanada.ca/wiki/Globus/fr Globus]. | <div class="mw-translate-fuzzy"> | ||
Il est de votre responsabilité de vérifier depuis quand vos données sont stockées. Le rôle de la plupart des systèmes de fichiers n'est pas d'offrir un service d'archivage à long terme; vous devez donc déplacer les fichiers et répertoires qui ne sont plus utilisés vers un autre endroit, que ce soit sur votre ordinateur personnel ou une autre ressource de stockage que vous contrôlez. Le transfert de grandes quantités de données se fait généralement avec [https://docs.computecanada.ca/wiki/Globus/fr Globus]. | |||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Prenez note que les ressources de stockage ne sont pas pour vos données personnelles, mais bien pour les données de recherche. | Prenez note que les ressources de stockage ne sont pas pour vos données personnelles, mais bien pour les données de recherche. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Lorsque votre compte est créé sur une grappe, votre répertoire ''home'' contient des références à vos espaces [[Project layout/fr|''project'']] et ''scratch'' via des [https://fr.wikipedia.org/wiki/Lien_symbolique liens symboliques], des raccourcis vers ces autres systèmes de fichiers à partir de votre répertoire ''home''. Notez que ces liens symboliques peuvent apparaître seulement quelques heures après votre première connexion. Un utilisateur possède ses propres espaces ''home'' et ''scratch'', alors que l'espace projet est partagé par un groupe de recherche. Ce groupe peut être constitué d'utilisateurs qui possèdent des comptes liés à celui d'un chercheur principal ou de comptes de membres d'une [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr allocation de ressources]. | Lorsque votre compte est créé sur une grappe, votre répertoire ''home'' contient des références à vos espaces [[Project layout/fr|''project'']] et ''scratch'' via des [https://fr.wikipedia.org/wiki/Lien_symbolique liens symboliques], des raccourcis vers ces autres systèmes de fichiers à partir de votre répertoire ''home''. Notez que ces liens symboliques peuvent apparaître seulement quelques heures après votre première connexion. Un utilisateur possède ses propres espaces ''home'' et ''scratch'', alors que l'espace projet est partagé par un groupe de recherche. Ce groupe peut être constitué d'utilisateurs qui possèdent des comptes liés à celui d'un chercheur principal ou de comptes de membres d'une [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/acces-aux-ressources/concours-dallocation-des-ressources/?lang=fr allocation de ressources]. | ||
Un utilisateur peut donc avoir accès à plusieurs espaces ''project'' différents associés à un ou plusieurs chercheurs principaux et les répertoires ''project'' de son répertoire ''home'' contient les liens symboliques vers ces différents espaces ''project''. Tous les comptes ont accès à un ou plusieurs espaces ''project''. Le répertoire <tt>projects</tt> dans votre compte contient un lien symbolique vers chaque espace ''project'' auquel vous avez accès. | Un utilisateur peut donc avoir accès à plusieurs espaces ''project'' différents associés à un ou plusieurs chercheurs principaux et les répertoires ''project'' de son répertoire ''home'' contient les liens symboliques vers ces différents espaces ''project''. Tous les comptes ont accès à un ou plusieurs espaces ''project''. Le répertoire <tt>projects</tt> dans votre compte contient un lien symbolique vers chaque espace ''project'' auquel vous avez accès. | ||
*Pour un utilisateur dont le compte est lié à un seul compte de chercheur principal, l'espace ''project'' par défaut est le même espace ''project'' par défaut que celui du compte du chercheur principal. | *Pour un utilisateur dont le compte est lié à un seul compte de chercheur principal, l'espace ''project'' par défaut est le même espace ''project'' par défaut que celui du compte du chercheur principal. | ||
* Pour un utilisateur dont le compte est lié à plusieurs comptes, l'espace ''project'' par défaut est le même que celui du chercheur principal qui possède le plus grand nombre de comptes qui lui sont associés. | * Pour un utilisateur dont le compte est lié à plusieurs comptes, l'espace ''project'' par défaut est le même que celui du chercheur principal qui possède le plus grand nombre de comptes qui lui sont associés. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Tous les utilisateurs peuvent vérifier l'espace disque disponible et l'espace disque utilisé par les systèmes de fichiers ''project'', ''home'' et ''scratch'' avec l'utilitaire en ligne de commande '''''diskusage_report''''', disponible sur les grappes. Pour ce faire, connectez-vous à la grappe par SSH; à l'invite, entrez diskusage_report puis appuyez sur la touche ''Enter''. L'utilitaire produit un rapport semblable à ceci : | Tous les utilisateurs peuvent vérifier l'espace disque disponible et l'espace disque utilisé par les systèmes de fichiers ''project'', ''home'' et ''scratch'' avec l'utilitaire en ligne de commande '''''diskusage_report''''', disponible sur les grappes. Pour ce faire, connectez-vous à la grappe par SSH; à l'invite, entrez diskusage_report puis appuyez sur la touche ''Enter''. L'utilitaire produit un rapport semblable à ceci : | ||
<pre> | <pre> | ||
| Line 22: | Line 31: | ||
Project (def-username) 4096 B/9536 GB 2/500k | Project (def-username) 4096 B/9536 GB 2/500k | ||
</pre> | </pre> | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
==Types de stockage== | ==Types de stockage== | ||
Les ressources de Calcul Canada comprennent divers systèmes de fichiers pour le stockage; assurez-vous d'utiliser l'espace approprié pour un besoin particulier. Nous présentons ici les principaux systèmes de fichiers de l'infrastructure de Calcul Canada, quelques-unes de leurs caractéristiques et les besoins pour lesquels ils sont conçus. | Les ressources de Calcul Canada comprennent divers systèmes de fichiers pour le stockage; assurez-vous d'utiliser l'espace approprié pour un besoin particulier. Nous présentons ici les principaux systèmes de fichiers de l'infrastructure de Calcul Canada, quelques-unes de leurs caractéristiques et les besoins pour lesquels ils sont conçus. | ||
| Line 29: | Line 40: | ||
*'''SCRATCH''' : Ce type de stockage s'avère le meilleur choix pour les opérations intensives de lecture/écriture de gros fichiers (> 100Mo par fichier). Sachez toutefois qu'il faut copier les données importantes ailleurs parce qu'il n'y a pas de copie de sauvegarde sur ''scratch'' et que les fichiers plus anciens sont susceptibles d'être [[Scratch purging policy/fr|purgés]]. Cet espace ne devrait être utilisé que pour les fichiers temporaires comme les fichiers de point de contrôle (''checkpoint files''), les données en sortie d'une tâche ou les autres données qui peuvent être facilement recréées. | *'''SCRATCH''' : Ce type de stockage s'avère le meilleur choix pour les opérations intensives de lecture/écriture de gros fichiers (> 100Mo par fichier). Sachez toutefois qu'il faut copier les données importantes ailleurs parce qu'il n'y a pas de copie de sauvegarde sur ''scratch'' et que les fichiers plus anciens sont susceptibles d'être [[Scratch purging policy/fr|purgés]]. Cet espace ne devrait être utilisé que pour les fichiers temporaires comme les fichiers de point de contrôle (''checkpoint files''), les données en sortie d'une tâche ou les autres données qui peuvent être facilement recréées. | ||
* '''SLURM_TMPDIR''' : Pendant qu'une tâche est en cours d'exécution, <code>$SLURM_TMPDIR</code> est le chemin unique vers un répertoire temporaire d'un système de fichier local rapide sur chacun des nœuds de calcul réservés pour cette tâche; ce répertoire est supprimé quand la tâche se termine. C'est le meilleur endroit où enregistrer temporairement une grande collection de petits fichiers (< 1 Mo par fichier). Les tâches partagent cet espace sur chaque nœud et la capacité disponible dépend des caractéristiques techniques de chacun. Pour plus d'information, voir [[Using_$SLURM_TMPDIR/fr|Utilisation de $SLURM TMPDIR]]. | * '''SLURM_TMPDIR''' : Pendant qu'une tâche est en cours d'exécution, <code>$SLURM_TMPDIR</code> est le chemin unique vers un répertoire temporaire d'un système de fichier local rapide sur chacun des nœuds de calcul réservés pour cette tâche; ce répertoire est supprimé quand la tâche se termine. C'est le meilleur endroit où enregistrer temporairement une grande collection de petits fichiers (< 1 Mo par fichier). Les tâches partagent cet espace sur chaque nœud et la capacité disponible dépend des caractéristiques techniques de chacun. Pour plus d'information, voir [[Using_$SLURM_TMPDIR/fr|Utilisation de $SLURM TMPDIR]]. | ||
</div> | |||
==Consommation de l'espace /project par utilisateur== | ==Consommation de l'espace /project par utilisateur== | ||
<div class="mw-translate-fuzzy"> | |||
Pour /home et /scratch, la commande '''diskusage_report''' donne l'utilisation de l'espace et des inodes pour chaque utilisateur alors que pour /project, elle donne plutôt le quota total du groupe, incluant donc tous les fichiers des membres. Puisque les fichiers qui appartiennent à un utilisateur peuvent se trouver partout dans /project, il est difficile d'obtenir la quantité exacte de fichiers et d'inodes par utilisateur ou par projet quand un utilisateur a accès à plusieurs projets. Une estimation de l'utilisation de l'espace et des inodes par un utilisateur dans l'espace /project total peut toutefois être obtenue avec la commande | Pour /home et /scratch, la commande '''diskusage_report''' donne l'utilisation de l'espace et des inodes pour chaque utilisateur alors que pour /project, elle donne plutôt le quota total du groupe, incluant donc tous les fichiers des membres. Puisque les fichiers qui appartiennent à un utilisateur peuvent se trouver partout dans /project, il est difficile d'obtenir la quantité exacte de fichiers et d'inodes par utilisateur ou par projet quand un utilisateur a accès à plusieurs projets. Une estimation de l'utilisation de l'espace et des inodes par un utilisateur dans l'espace /project total peut toutefois être obtenue avec la commande | ||
</div> | |||
<code>lfs quota -u $USER /project</code> | <code>lfs quota -u $USER /project</code> | ||
| Line 41: | Line 55: | ||
</source> | </source> | ||
<div class="mw-translate-fuzzy"> | |||
== Meilleures pratiques == | == Meilleures pratiques == | ||
* Nettoyez régulièrement les données dans les espaces ''project'' et ''scratch'' puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données. | * Nettoyez régulièrement les données dans les espaces ''project'' et ''scratch'' puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données. | ||
| Line 50: | Line 65: | ||
* Il est possible que vous ayez des problèmes peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme ''home'', ''scratch'' et ''project''; pour contrer ceci, utilisez un outil spécialisé comme [https://en.wikipedia.org/wiki/Message_Passing_Interface#I/O MPI-IO]. | * Il est possible que vous ayez des problèmes peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme ''home'', ''scratch'' et ''project''; pour contrer ceci, utilisez un outil spécialisé comme [https://en.wikipedia.org/wiki/Message_Passing_Interface#I/O MPI-IO]. | ||
* Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le [[Technical support/fr|soutien technique]]. | * Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le [[Technical support/fr|soutien technique]]. | ||
</div> | |||
==Quotas et politiques== | ==Quotas et politiques== | ||
| Line 62: | Line 78: | ||
</div> | </div> | ||
<div class="mw-translate-fuzzy"> | |||
<tabs> | <tabs> | ||
<tab name="Cedar"> | <tab name="Cedar"> | ||
| Line 270: | Line 287: | ||
<li>La copie de sauvegarde est un instantané récent et non l'archivage complet des données.</li> | <li>La copie de sauvegarde est un instantané récent et non l'archivage complet des données.</li> | ||
<li><code>$BBUFFER</code> (pour [https://docs.scinet.utoronto.ca/index.php/Burst_Buffer Burst Buffer]) est un espace de stockage plus rapide pour les données temporaires.</li></ul> | <li><code>$BBUFFER</code> (pour [https://docs.scinet.utoronto.ca/index.php/Burst_Buffer Burst Buffer]) est un espace de stockage plus rapide pour les données temporaires.</li></ul> | ||
</div> | |||
</tab> | </tab> | ||
</tabs> | </tabs> | ||
<div class="mw-translate-fuzzy"> | |||
Les espaces HOME et PROJECT sont sauvegardés chaque soir; les copies sont conservées pour 30 jours et les fichiers supprimés sont conservés pour 60 jours de plus. Remarquez que ceci est différent de l'âge limite pour la purge des fichiers de l'espace SCRATCH. Pour récupérer une version antérieure d'un fichier ou d'un répertoire, contactez le [[Technical support/fr|soutien technique]] en mentionnant le chemin complet pour le ou les fichiers et la date de la version. | Les espaces HOME et PROJECT sont sauvegardés chaque soir; les copies sont conservées pour 30 jours et les fichiers supprimés sont conservés pour 60 jours de plus. Remarquez que ceci est différent de l'âge limite pour la purge des fichiers de l'espace SCRATCH. Pour récupérer une version antérieure d'un fichier ou d'un répertoire, contactez le [[Technical support/fr|soutien technique]] en mentionnant le chemin complet pour le ou les fichiers et la date de la version. | ||
</div> | |||
== Pour plus d'information== | == Pour plus d'information== | ||