Translations:Storage and file management/9/fr: Difference between revisions
Jump to navigation
Jump to search
No edit summary |
No edit summary |
||
Line 1: | Line 1: | ||
== Meilleures pratiques == | == Meilleures pratiques == | ||
* Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. | * Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. | ||
* Autant que possible, réservez le stockage ''scratch'' et le stockage local pour les fichiers temporaires. Pour le | * Autant que possible, réservez le stockage ''scratch'' et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> créé par [https://docs.computecanada.ca/wiki/Running_jobs/fr l'ordonnanceur] à cet effet. | ||
* Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord. | * Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord. | ||
* Nettoyez régulièrement les données dans les espaces ''project'' et ''scratch'' puisque ceux-ci sont utilisés pour d'immenses collections de données. | * Nettoyez régulièrement les données dans les espaces ''project'' et ''scratch'' puisque ceux-ci sont utilisés pour d'immenses collections de données. |
Revision as of 14:14, 8 June 2020
Meilleures pratiques
- Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
- Autant que possible, réservez le stockage scratch et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire
$SLURM_TMPDIR
créé par l'ordonnanceur à cet effet. - Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord.
- Nettoyez régulièrement les données dans les espaces project et scratch puisque ceux-ci sont utilisés pour d'immenses collections de données.
- Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs (voir Archiving and compressing).
- Pour plus de renseignements sur la gestion de grands nombres de fichiers, on vous recommande la lecture de cette page, particulièrement si vous êtes limité par le quota sur le nombre de fichiers.
- Il est possible que vous ayez des problèmes peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme home, scratch et project; pour contrer ceci, utilisez un outil spécialisé comme MPI-IO.
- Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le soutien technique.