Using nearline storage/fr: Difference between revisions

Le système de fichiers /nearline utilise de l'espace de stockage sur ruban et sert à conserver '''les données inactives''', par exemple les ensembles de données que vous n'avez pas besoin d'utiliser pendant des mois.  

= Restrictions et meilleures pratiques =

Il n'est pas nécessaire ce compresser les données que vous voulez copier sur /nearline puisque le système d'archivage sur ruban le fait automatiquement.

==== Taille des fichiers ====

S'il n'est pas efficace de récupérer des petits fichiers enregistrés sur ruban, récupérer de très gros fichiers pose d'autres problèmes. Nous vous demandons d'observer les règles suivantes :

* NE COPIEZ PAS DE PETITS FICHIERS SUR /NEARLINE, à l'exception des index (voir <i>Créer un index</i> ci-dessous).

==== Choisir entre tar et dar ====

Utilisez [[A tutorial on 'tar'/fr|tar]] ou [[dar/fr|dar]] pour créer un fichier archive.

Avec <code>dar</code>, utilisez l'option <code>-s (--slice)</code>.

===== Créer un index =====

Quand des fichiers sont regroupés, avec tar par exemple, il devient difficile de repérer un fichier particulier. Plutôt que de récupérer une grande collection enregistrée sur ruban pour seulement quelques fichiers, vous pourriez construire un index au moment où la collection est créée. Avec tar, vous pouvez ajouter l'option <tt>verbose</tt> pour obtenir plus de détails.

  {{Command|tar cvvf /nearline/def-sponsor/user/mycollection.tar /project/def-sponsor/user/something > /nearline/def-sponsor/user/mycollection.index}}

Même s'il s'agit souvent de petits fichiers, les fichiers d'index peuvent être enregistrés dans /nearline.

==== Pas d'accès à partir des nœuds de calcul ====

Puisque l'obtention de données dans /nearline peut prendre un certain temps (voir la section ''Fonctionnement'' ci-dessous), nous ne permettons pas que les tâches y lisent des données.  /nearline n'est pas monté sur les nœuds de calcul.

==== Utiliser un nœud de transfert, si possible ====

Comme la création de fichiers archive exige beaucoup des ressources, il est préférable d'utiliser un nœud de transfert de données (DTN) plutôt qu'un nœud de connexion si vous pouvez vous connecter à la grappe par un nœud DTN.

= Avantages =

Les avantages du stockage sur ruban par rapport aux disques et aux SSD (<i>solid-state drives</i>) sont :

Par conséquent, nous pouvons offrir beaucoup plus de capacité de stockage sur /nearline que sur /project. De plus, le fait de ne pas stocker de données inactives sur /project allège la charge et améliore la performance.

= Fonctionnement =

# À sa création ou quand il est d'abord copié sur /nearline, le fichier existe uniquement sur disque et non sur ruban.  

Quand un fichier est entièrement copié sur ruban (ou <i>virtualisé</i>), il demeure visible dans la liste des fichiers du répertoire. Si une opération de lecture est faite sur le fichier virtuel, le ruban doit être trouvé dans la bibliothèque et la copie doit se faire sur le disque, ce qui prend du temps et bloque le processus qui tente de faire la lecture. Selon la taille du fichier et les demandes au système de stockage sur ruban, ceci peut nécessiter entre moins d'une minute et plus d'une heure.

== Transférer des données à partir de /nearline ==

Pendant le [[Transferring_data/fr|transfert de vos données]] avec [[Globus/fr|Globus]] ou tout autrement, les données exclusivement sur ruban seront automatiquement restaurées sur disque à leur simple lecture. Cependant, puisque l'accès aux données sur ruban est relativement lent, chaque restauration de fichier ralentira le transfert de quelques secondes à quelques minutes. Par conséquent, il faut s'attendre à ce que les transferts à partir de /nearline prennent plus de temps.

Vous pouvez forcer le rappel d'un fichier sur ruban sans le lire avec la commande <tt>lfs hsm_restore <FILE></tt>.

==Spécificités de chaque grappe==

<tabs>