38,907
edits
Using nearline storage/fr: Difference between revisions
Jump to navigation
Jump to search
Updating to match new version of source page
No edit summary |
(Updating to match new version of source page) |
||
| Line 7: | Line 7: | ||
==== Taille des fichiers ==== | ==== Taille des fichiers ==== | ||
<div class="mw-translate-fuzzy"> | |||
S'il n'est pas efficace de récupérer des petits fichiers enregistrés sur bande, récupérer des très gros fichiers pose d'autres problèmes. Nous vous demandons d'observer les règles suivantes : | S'il n'est pas efficace de récupérer des petits fichiers enregistrés sur bande, récupérer des très gros fichiers pose d'autres problèmes. Nous vous demandons d'observer les règles suivantes : | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
* les fichiers de moins de ~10Go devraient être rassemblés dans des fichiers archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]]; | * les fichiers de moins de ~10Go devraient être rassemblés dans des fichiers archive (''tarballs'') avec [[A tutorial on 'tar'/fr|tar]] ou un autre [[Archiving and compressing files/fr|outil semblable]]; | ||
* les fichiers de plus de 4To devraient être divisés en parts de 1To avec un outil comme la commande [[A_tutorial_on_'tar'#Splitting_files|split]]. | * les fichiers de plus de 4To devraient être divisés en parts de 1To avec un outil comme la commande [[A_tutorial_on_'tar'#Splitting_files|split]]. | ||
* NE COPIEZ PAS DE PETITS FICHIERS SUR /NEARLINE. | * NE COPIEZ PAS DE PETITS FICHIERS SUR /NEARLINE. | ||
</div> | |||
==== Choisir entre tar et dar ==== | ==== Choisir entre tar et dar ==== | ||
<div class="mw-translate-fuzzy"> | |||
Utilisez [[A tutorial on 'tar'/fr|tar]] ou [[dar/fr|dar]] pour créer un fichier archive. | Utilisez [[A tutorial on 'tar'/fr|tar]] ou [[dar/fr|dar]] pour créer un fichier archive. | ||
* Gardez les fichiers source dans leur système de fichiers d'origine. '''Ne copiez pas les fichiers source dans /nearline avant de créer l'archive. | * Gardez les fichiers source dans leur système de fichiers d'origine. '''Ne copiez pas les fichiers source dans /nearline avant de créer l'archive. | ||
* Copiez le fichier archive directement dans /nearline. S'il est préférable de copier d'abord un fichier archive dans un autre système de fichiers et ensuite le déplacer dans /nearline que de copier d'abord le fichier archive dans /nearline et ensuite de créer le fichier archive, ce n'est pas nécessaire. | * Copiez le fichier archive directement dans /nearline. S'il est préférable de copier d'abord un fichier archive dans un autre système de fichiers et ensuite le déplacer dans /nearline que de copier d'abord le fichier archive dans /nearline et ensuite de créer le fichier archive, ce n'est pas nécessaire. | ||
</div> | |||
Si vous avez plusieurs centaines de Go de données, les options <code>-M (--muti-volume)</code> et <code>-L (--tape-length)</code> de <code>tar</code> peuvent être utilisées pour produire des fichiers archive de taille convenable. | Si vous avez plusieurs centaines de Go de données, les options <code>-M (--muti-volume)</code> et <code>-L (--tape-length)</code> de <code>tar</code> peuvent être utilisées pour produire des fichiers archive de taille convenable. | ||
| Line 33: | Line 39: | ||
{{Command|tar tvvf /nearline/def-sponsor/user/mycollection.tar > /nearline/def-sponsor/user/mycollection.index}} | {{Command|tar tvvf /nearline/def-sponsor/user/mycollection.tar > /nearline/def-sponsor/user/mycollection.index}} | ||
Index files are an exception to the rule about small files on nearline: | Index files are an exception to the rule about small files on nearline: it's okay to store them in /nearline. | ||
==== Pas d'accès à partir des nœuds de calcul ==== | ==== Pas d'accès à partir des nœuds de calcul ==== | ||
<div class="mw-translate-fuzzy"> | |||
Puisque l'obtention de données dans /nearline peut prendre un certain temps (voir la section ''Fonctionnement'' ci-dessous), nous ne permettons pas que les tâches y lisent des données. /nearline n'est pas monté sur les nœuds de calcul. | Puisque l'obtention de données dans /nearline peut prendre un certain temps (voir la section ''Fonctionnement'' ci-dessous), nous ne permettons pas que les tâches y lisent des données. /nearline n'est pas monté sur les nœuds de calcul. | ||
</div> | |||
==== Utiliser un nœud de transfert, si possible ==== | ==== Utiliser un nœud de transfert, si possible ==== | ||
<div class="mw-translate-fuzzy"> | |||
Comme la création de fichiers archive exige beaucoup des ressources, il est préférable d'utiliser un nœud de transfert de données (DTN) plutôt qu'un nœud de connexion (si vous pouvez vous connecter à la grappe par un nœud DTN). | Comme la création de fichiers archive exige beaucoup des ressources, il est préférable d'utiliser un nœud de transfert de données (DTN) plutôt qu'un nœud de connexion (si vous pouvez vous connecter à la grappe par un nœud DTN). | ||
</div> | |||
= Avantages = | = Avantages = | ||