Using nearline storage/fr: Difference between revisions

Jump to navigation Jump to search

Using nearline storage/fr (view source)

Revision as of 15:52, 30 September 2020

931 bytes added ,  4 years ago
Updating to match new version of source page
No edit summary
(Updating to match new version of source page)
Line 1: Line 1:
<languages />
<languages />
<div class="mw-translate-fuzzy">
Le stockage /nearline se fait sur bandes et est conçu pour stocker '''les gros fichiers qui sont rarement utilisés'''.
Le stockage /nearline se fait sur bandes et est conçu pour stocker '''les gros fichiers qui sont rarement utilisés'''.
</div>
= Best practices, and restrictions =
==== Size of files ====
Retrieving small files from tape is inefficient, while extremely large files pose other problems.  Please observe these guidelines about the size of files to store in nearline:
<div class="mw-translate-fuzzy">
Ils devraient être utilisés pour des fichiers de capacité relativement grande. Ne les utilisez pas pour stocker plusieurs petits fichiers. D’ailleurs, sous une certaine capacité, les petits fichiers ne peuvent pas être copiés sur bande :
* les fichiers de moins de ~200Mo devraient être convertis en fichiers d’archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]];
* les fichiers de plus de 300Go devraient être divisés en parts de 100Go avec un outil comme la commande [[A_tutorial_on_'tar'#Splitting_files|split]].
</div>


Ce système de fichiers est uniquement accessible à partir des nœuds de connexion ou des nœuds de transfert de données, jamais à partir des nœuds de calcul. Si vous avez peu de fichiers et qu'ils sont petits, groupez-les dans de gros fichiers archive avec [[Tar/fr|Tar]] ou [[Dar/fr|Dar]].
==== Using tar or dar ====


Use [[A tutorial on 'tar'|tar]] or [[dar]] to create an archive file directly on nearline.  There is no advantage to creating the archive on a different filesystem and then copying it to nearline once complete.
If you have hundreds of gigabytes of data, the <code>tar</code> options <code>-M (--muti-volume)</code> and <code>-L (--tape-length)</code> can be used to produce archive files of suitable size.
If you are using <code>dar</code>, you can similarly use the <code>-s (--slice)</code> option.
==== No access from compute nodes ====
Because data retrieval from nearline may take an uncertain amount of time (see "How it works" below), we do not permit reading from nearline in a job context.  Nearline is not mounted on compute nodes.
==== Use a data-transfer node if available ====
<div class="mw-translate-fuzzy">
Comme la création de fichiers archive exige beaucoup des ressources, il est préférable d'utiliser les nœuds de transfert de données ou de créer le fichier archive dans un autre système de fichier et le copier ensuite sur /nearline.
Comme la création de fichiers archive exige beaucoup des ressources, il est préférable d'utiliser les nœuds de transfert de données ou de créer le fichier archive dans un autre système de fichier et le copier ensuite sur /nearline.
</div>


==Système de fichier virtualisé sur bande==
= Why nearline? =
Ce système de fichiers hybride sur disque et bande est semblable à celui de [[Project layout/fr|/project]], mais il profite à la fois de l’accès rapide aux données sur disque et de la grande capacité d’espace de stockage économique sur bande. Quand vous déplacez sur bande les données que vous utilisez moins fréquemment, elles ne compteront pas dans votre quota. Au besoin, vous pouvez rappeler ces données sur disque dans un délai qui peut varier de quelques minutes à une ou deux heures.
 
Tape as a storage medium has these advantages over disk and solid-state ("SSD") media.
# Cost per unit of data stored is lower.
# The volume of data stored can be easily expanded by buying more tapes.
# Energy consumption per unit of data stored is effectively zero.
 
Consequently we can offer much greater volumes of storage on nearline than we can on project.  Also, keeping inactive data ''off'' of project reduces the load and improves its performance.
 
= How it works =
 
<div class="mw-translate-fuzzy">
Typiquement, /nearline est utilisé pour y déposer des fichiers et y accéder par la suite comme vous le feriez avec un système de fichier normal; cependant, la lecture des fichiers se fait quelquefois après une longue pause. Les fichiers peuvent aussi être retirés de /nearline. Il est important de savoir qu'un fichier peut se trouver dans l'un des états suivants :
* à sa création, le fichier est sur disque (non sur bande);
* après un certain temps (environ une journée), le fichier est copié sur bande. Le fichier est alors sur disque et sur bande; il se comporte comme un fichier sur disque, sauf si vous le modifiez;
* par la suite, la copie sur disque est éliminée et le fichier est sur bande seulement, en deux copies : une copie locale et l'autre à distance. À ce moment, la lecture est lente, car le contenu doit être rappelé du stockage sur bande;
* quand un tel fichier est rappelé, il revient au deuxième état.
</div>


<div class="mw-translate-fuzzy">
Ceci est utile parce que nos bibliothèques de bandes ont une grande capacité qui, de plus, peut être augmentée. Quand un fichier est copié sur bande (ou ''virtualisé''), il demeure visible dans la liste des fichiers du répertoire. Si une opération de lecture est faite sur le fichier, le processus est interrompu pendant un certain temps (quelques minutes) pendant que le contenu du fichier est copié de la bande au disque.
Ceci est utile parce que nos bibliothèques de bandes ont une grande capacité qui, de plus, peut être augmentée. Quand un fichier est copié sur bande (ou ''virtualisé''), il demeure visible dans la liste des fichiers du répertoire. Si une opération de lecture est faite sur le fichier, le processus est interrompu pendant un certain temps (quelques minutes) pendant que le contenu du fichier est copié de la bande au disque.
</div>


<div class="mw-translate-fuzzy">
La commande <code>lfs hsm_state</code> permet de savoir si un fichier est sur bande ou encore sur disque.
La commande <code>lfs hsm_state</code> permet de savoir si un fichier est sur bande ou encore sur disque.
</div>
<source lang="bash">
#  Here, <FILE> has not been copied to tape.
$ lfs hsm_state <FILE>
<FILE>:  (0x00000000)


<div class="mw-translate-fuzzy">
<source lang="bash">
<source lang="bash">
# Here, <FILE> is still on the disk
# Here, <FILE> is still on the disk
$ lfs hsm_state <FILE>
$ lfs hsm_state <FILE>
<FILE>: [...]: exists archived, [...]
<FILE>: [...]: exists archived, [...]
</div>


# Here, <FILE> is archived on tape, there will be a lag when opening it.  
# Here, <FILE> is archived on tape, there will be a lag when opening it.  
Line 23: Line 79:
</source>
</source>


<div class="mw-translate-fuzzy">
Dans cette commande, hsm est l'abréviation de ''hierarchical storage manager''. Quand vous demandez de lire un fichier qui se trouve sur bande, il est copié de la bande au disque, ce qui peut prendre quelques minutes ou plusieurs heures si le système est occupé. Pour forcer la copie d'un fichier sur bande, vous pouvez utiliser
Dans cette commande, hsm est l'abréviation de ''hierarchical storage manager''. Quand vous demandez de lire un fichier qui se trouve sur bande, il est copié de la bande au disque, ce qui peut prendre quelques minutes ou plusieurs heures si le système est occupé. Pour forcer la copie d'un fichier sur bande, vous pouvez utiliser
la commande <tt>lfs hsm_restore <FILE></tt>.
la commande <tt>lfs hsm_restore <FILE></tt>.
</div>


<div class="mw-translate-fuzzy">
Prenez note qu'en date de juillet 2020, le résultat de la commande <code>diskusage_report</code> ne produit pas de valeurs fiables sur la consommation de l'espace /nearline sur  [[Graham/fr|Graham]] et [[Béluga]].
Prenez note qu'en date de juillet 2020, le résultat de la commande <code>diskusage_report</code> ne produit pas de valeurs fiables sur la consommation de l'espace /nearline sur  [[Graham/fr|Graham]] et [[Béluga]].
</div>


==Utilisation==
<div class="mw-translate-fuzzy">
Le délai de lecture d’un fichier sur bande étant plus long, l'emploi de /nearline n’est pas adéquat dans le cas de tâches où le temps alloué serait mal employé. Les répertoires /nearline se trouvent dans certains nœuds, mais jamais dans les nœuds de calcul.
 
Ils devraient être utilisés pour des fichiers de capacité relativement grande. Ne les utilisez pas pour stocker plusieurs petits fichiers. D’ailleurs, sous une certaine capacité, les petits fichiers ne peuvent pas être copiés sur bande :
* les fichiers de moins de ~200Mo devraient être convertis en fichiers d’archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]];
* les fichiers de plus de 300Go devraient être divisés en parts de 100Go avec un outil comme la commande [[A_tutorial_on_'tar'#Splitting_files|split]].
 
Typiquement, /nearline est utilisé pour y déposer des fichiers et y accéder par la suite comme vous le feriez avec un système de fichier normal; cependant, la lecture des fichiers se fait quelquefois après une longue pause. Les fichiers peuvent aussi être retirés de /nearline. Il est important de savoir qu'un fichier peut se trouver dans l'un des états suivants :
* à sa création, le fichier est sur disque (non sur bande);
* après un certain temps (environ une journée), le fichier est copié sur bande. Le fichier est alors sur disque et sur bande; il se comporte comme un fichier sur disque, sauf si vous le modifiez;
* par la suite, la copie sur disque est éliminée et le fichier est sur bande seulement, en deux copies : une copie locale et l'autre à distance. À ce moment, la lecture est lente, car le contenu doit être rappelé du stockage sur bande;
* quand un tel fichier est rappelé, il revient au deuxième état.
 
==Accès aux grappes==
==Accès aux grappes==
</div>


<tabs>
<tabs>
Line 48: Line 97:


Enregistrez vos fichiers dans votre répertoire <tt>~/nearline/PROJECT</tt>. Ils seront copiés sur bande après un certain temps (24 heures en date de février 2019). Si le fichier n’est pas modifié pendant un certain temps (24 heures en date de février 2019), la copie sur disque sera supprimée, virtualisant ainsi le fichier sur bande.  
Enregistrez vos fichiers dans votre répertoire <tt>~/nearline/PROJECT</tt>. Ils seront copiés sur bande après un certain temps (24 heures en date de février 2019). Si le fichier n’est pas modifié pendant un certain temps (24 heures en date de février 2019), la copie sur disque sera supprimée, virtualisant ainsi le fichier sur bande.  


Lorsque vous supprimez un fichier de <tt>~/nearline</tt> volontairement ou par accident, la copie sur bande est conservée pour 60 jours. Pour restaurer ces fichiers, vous devez contacter le [[technical support/fr|soutien technique]] en mentionnant le chemin complet et la version (avec la date), de la même manière que vous procéderiez pour restaurer une [[Storage and file management/fr#Quotas_et_politiques|copie de sauvegarde]]. Il est donc important que vous conserviez une copie de la structure complète de votre espace /nearline. La commande <tt>ls -R > ~/nearline_contents.txt</tt> lancée du répertoire <tt>~/nearline/PROJECT</tt> vous permettra de voir où sont situés les fichiers dans votre espace /nearline.
Lorsque vous supprimez un fichier de <tt>~/nearline</tt> volontairement ou par accident, la copie sur bande est conservée pour 60 jours. Pour restaurer ces fichiers, vous devez contacter le [[technical support/fr|soutien technique]] en mentionnant le chemin complet et la version (avec la date), de la même manière que vous procéderiez pour restaurer une [[Storage and file management/fr#Quotas_et_politiques|copie de sauvegarde]]. Il est donc important que vous conserviez une copie de la structure complète de votre espace /nearline. La commande <tt>ls -R > ~/nearline_contents.txt</tt> lancée du répertoire <tt>~/nearline/PROJECT</tt> vous permettra de voir où sont situés les fichiers dans votre espace /nearline.
FuzzyBot
Bots
38,907

edits

Retrieved from "https://docs.alliancecan.ca/wiki/Special:MobileDiff/90348"

Navigation menu