38,907
edits
Using nearline storage/fr: Difference between revisions
Jump to navigation
Jump to search
Updating to match new version of source page
(Created page with "= Avantages =") |
(Updating to match new version of source page) Tags: Mobile edit Mobile web edit |
||
| Line 1: | Line 1: | ||
<languages /> | <languages /> | ||
Le système de fichiers /nearline utilise de l'espace de stockage sur bandes et sert à conserver *les données inactives*, par exemple les ensembles de données que vous n'avez pas besoin d'utiliser pendant des mois. | <div class="mw-translate-fuzzy"> | ||
Le système de fichiers /nearline utilise de l'espace de stockage sur bandes et sert à conserver *les données inactives*, par exemple les ensembles de données que vous n'avez pas besoin d'utiliser pendant des mois. | |||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
= Meilleurs pratiques et restrictions = | = Meilleurs pratiques et restrictions = | ||
</div> | |||
==== Taille des fichiers ==== | ==== Taille des fichiers ==== | ||
<div class="mw-translate-fuzzy"> | |||
S'il n'est pas efficace de récupérer des petits fichiers enregistrés sur bande, récupérer des très gros fichiers pose d'autres problèmes. Nous vous demandons d'observer les règles suivantes : | S'il n'est pas efficace de récupérer des petits fichiers enregistrés sur bande, récupérer des très gros fichiers pose d'autres problèmes. Nous vous demandons d'observer les règles suivantes : | ||
</div> | |||
* les fichiers de moins de ~200Mo devraient être rassemblés dans des fichiers d’archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]]; | * les fichiers de moins de ~200Mo devraient être rassemblés dans des fichiers d’archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]]; | ||
| Line 14: | Line 20: | ||
==== Choisir entre tar et dar ==== | ==== Choisir entre tar et dar ==== | ||
Use [[A tutorial on 'tar'|tar]] or [[dar]] to create an archive file directly on nearline. There is no advantage to creating the archive on a different filesystem and then copying it to nearline once complete. | Use [[A tutorial on 'tar'|tar]] or [[dar]] to create an archive file directly on /nearline. There is no advantage to creating the archive on a different filesystem and then copying it to /nearline once complete. | ||
If you have hundreds of gigabytes of data, the <code>tar</code> options <code>-M (--muti-volume)</code> and <code>-L (--tape-length)</code> can be used to produce archive files of suitable size. | If you have hundreds of gigabytes of data, the <code>tar</code> options <code>-M (--muti-volume)</code> and <code>-L (--tape-length)</code> can be used to produce archive files of suitable size. | ||
| Line 22: | Line 28: | ||
==== Pas d'accès à partir des nœuds de calcul ==== | ==== Pas d'accès à partir des nœuds de calcul ==== | ||
Because data retrieval from nearline may take an uncertain amount of time (see "How it works" below), we do not permit reading from nearline in a job context. | Because data retrieval from /nearline may take an uncertain amount of time (see "How it works" below), we do not permit reading from /nearline in a job context. /nearline is not mounted on compute nodes. | ||
==== Utiliser un nœud de transfert, si possible ==== | ==== Utiliser un nœud de transfert, si possible ==== | ||
| Line 30: | Line 36: | ||
</div> | </div> | ||
<div class="mw-translate-fuzzy"> | |||
= Avantages = | = Avantages = | ||
</div> | |||
Tape as a storage medium has these advantages over disk and solid-state ("SSD") media. | Tape as a storage medium has these advantages over disk and solid-state ("SSD") media. | ||
| Line 37: | Line 45: | ||
# Energy consumption per unit of data stored is effectively zero. | # Energy consumption per unit of data stored is effectively zero. | ||
Consequently we can offer much greater volumes of storage on nearline than we can on project. Also, keeping inactive data ''off'' of project reduces the load and improves its performance. | Consequently we can offer much greater volumes of storage on /nearline than we can on /project. Also, keeping inactive data ''off'' of /project reduces the load and improves its performance. | ||
= How it works = | = How it works = | ||
| Line 84: | Line 92: | ||
</div> | </div> | ||
<div class="mw-translate-fuzzy"> | |||
<tabs> | <tabs> | ||
<tab name="Graham"> | <tab name="Graham"> | ||
L'accès au répertoire /nearline se fait par les nœuds de connexion et les DTN (''Data Transfer Nodes''). | L'accès au répertoire /nearline se fait par les nœuds de connexion et les DTN (''Data Transfer Nodes''). | ||
</div> | |||
Enregistrez vos fichiers dans votre répertoire <tt>~/nearline/PROJECT</tt>. Ils seront copiés sur bande après un certain temps (24 heures en date de février 2019). Si le fichier n’est pas modifié pendant un certain temps (24 heures en date de février 2019), la copie sur disque sera supprimée, virtualisant ainsi le fichier sur bande. | <div class="mw-translate-fuzzy"> | ||
Enregistrez vos fichiers dans votre répertoire <tt>~/nearline/PROJECT</tt>. Ils seront copiés sur bande après un certain temps (24 heures en date de février 2019). Si le fichier n’est pas modifié pendant un certain temps (24 heures en date de février 2019), la copie sur disque sera supprimée, virtualisant ainsi le fichier sur bande. | |||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Lorsque vous supprimez un fichier de <tt>~/nearline</tt> volontairement ou par accident, la copie sur bande est conservée pour 60 jours. Pour restaurer ces fichiers, vous devez contacter le [[technical support/fr|soutien technique]] en mentionnant le chemin complet et la version (avec la date), de la même manière que vous procéderiez pour restaurer une [[Storage and file management/fr#Quotas_et_politiques|copie de sauvegarde]]. Il est donc important que vous conserviez une copie de la structure complète de votre espace /nearline. La commande <tt>ls -R > ~/nearline_contents.txt</tt> lancée du répertoire <tt>~/nearline/PROJECT</tt> vous permettra de voir où sont situés les fichiers dans votre espace /nearline. | Lorsque vous supprimez un fichier de <tt>~/nearline</tt> volontairement ou par accident, la copie sur bande est conservée pour 60 jours. Pour restaurer ces fichiers, vous devez contacter le [[technical support/fr|soutien technique]] en mentionnant le chemin complet et la version (avec la date), de la même manière que vous procéderiez pour restaurer une [[Storage and file management/fr#Quotas_et_politiques|copie de sauvegarde]]. Il est donc important que vous conserviez une copie de la structure complète de votre espace /nearline. La commande <tt>ls -R > ~/nearline_contents.txt</tt> lancée du répertoire <tt>~/nearline/PROJECT</tt> vous permettra de voir où sont situés les fichiers dans votre espace /nearline. | ||
</tab> | </tab> | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
<tab name="Cedar"> | <tab name="Cedar"> | ||
Le service /nearline est semblable à celui de Graham. | Le service /nearline est semblable à celui de Graham. | ||
</tab> | </tab> | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
<tab name="Niagara"> | <tab name="Niagara"> | ||
HPSS est le service /nearline pour Niagara.<br/> | HPSS est le service /nearline pour Niagara.<br/> | ||
Les méthodes d'accès sont : | Les méthodes d'accès sont : | ||
</div> | |||
1. Dans une des partitions archive, soumettre une tâche à l’ordonnanceur Slurm avec les commandes HPSS <tt>htar</tt> ou <tt>hsi</tt>; pour des exemples, voyez la [https://docs.scinet.utoronto.ca/index.php/HPSS documentation HPSS]. Travailler avec des scripts offre l’avantage de pouvoir automatiser les transferts; il s’agit de la meilleure méthode si vous utilisez HPSS régulièrement. Vos fichiers HPSS se trouvent dans le répertoire $ARCHIVE, qui est semblable à $PROJECT, mais où ''/project'' est remplacé par ''/archive''. | <div class="mw-translate-fuzzy"> | ||
1. Dans une des partitions archive, soumettre une tâche à l’ordonnanceur Slurm avec les commandes HPSS <tt>htar</tt> ou <tt>hsi</tt>; pour des exemples, voyez la [https://docs.scinet.utoronto.ca/index.php/HPSS documentation HPSS]. Travailler avec des scripts offre l’avantage de pouvoir automatiser les transferts; il s’agit de la meilleure méthode si vous utilisez HPSS régulièrement. Vos fichiers HPSS se trouvent dans le répertoire $ARCHIVE, qui est semblable à $PROJECT, mais où ''/project'' est remplacé par ''/archive''. | |||
</div> | |||
2. Utiliser le nœud VFS (''virtual file system'') par la commande <tt>salloc --time=1:00:00 -pvfsshort</tt> quand vous avez peu de fichiers HPSS. Vos fichiers HPSS se trouvent dans le répertoire $ARCHIVE, qui est semblable à $PROJECT, mais où ''/project'' est remplacé par ''/archive''. | 2. Utiliser le nœud VFS (''virtual file system'') par la commande <tt>salloc --time=1:00:00 -pvfsshort</tt> quand vous avez peu de fichiers HPSS. Vos fichiers HPSS se trouvent dans le répertoire $ARCHIVE, qui est semblable à $PROJECT, mais où ''/project'' est remplacé par ''/archive''. | ||
| Line 109: | Line 129: | ||
</tab> | </tab> | ||
<div class="mw-translate-fuzzy"> | |||
<tab name="Béluga"> | <tab name="Béluga"> | ||
Le service /nearline est semblable à celui de Graham. | Le service /nearline est semblable à celui de Graham. | ||
</tab> | </tab> | ||
</tabs> | </tabs> | ||
</div> | |||