Translations:Storage and file management/9/fr: Difference between revisions
Jump to navigation
Jump to search
(Created page with "== Meilleures pratiques == * Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. * Autant que possible, réservez le stockage local pour les fi...") |
No edit summary |
||
(17 intermediate revisions by 2 users not shown) | |||
Line 1: | Line 1: | ||
== Meilleures pratiques == | == Meilleures pratiques == | ||
* Nettoyez régulièrement les données dans les espaces <i>project</i> et <i>scratch</i> puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données. | |||
* Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. | * Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. | ||
* Autant que possible, réservez le stockage local pour les fichiers temporaires. | * Autant que possible, réservez le stockage <i>scratch</i> et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> créé par [https://docs.computecanada.ca/wiki/Running_jobs/fr l'ordonnanceur] à cet effet. | ||
* Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord | * Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord. | ||
* Si certains fichiers non utilisés doivent être conservés, [[Archiving and compressing files/fr|archivez-les et compressez-les]] et si possible, copiez-les ailleurs, par exemple dans [[Using nearline storage/fr|le système de fichiers nearline]]. | |||
* Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs | * Pour plus de renseignements sur la gestion d'un grand nombre de fichiers, nous recommandons la lecture de [[Handling large collections of files/fr | cette page]], particulièrement si vous êtes limité par le quota sur le nombre de fichiers. | ||
* | * Il est possible que vous ayez des problèmes, peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme <i>home</i>, <i>scratch</i> et <i>project</i>; pour contrer ceci, utilisez un outil spécialisé comme [https://en.wikipedia.org/wiki/Message_Passing_Interface#I/O MPI-IO]. | ||
* Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le [[Technical support/fr|soutien technique]]. |
Latest revision as of 23:02, 22 June 2023
Meilleures pratiques
- Nettoyez régulièrement les données dans les espaces project et scratch puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données.
- Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
- Autant que possible, réservez le stockage scratch et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire
$SLURM_TMPDIR
créé par l'ordonnanceur à cet effet. - Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord.
- Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs, par exemple dans le système de fichiers nearline.
- Pour plus de renseignements sur la gestion d'un grand nombre de fichiers, nous recommandons la lecture de cette page, particulièrement si vous êtes limité par le quota sur le nombre de fichiers.
- Il est possible que vous ayez des problèmes, peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme home, scratch et project; pour contrer ceci, utilisez un outil spécialisé comme MPI-IO.
- Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le soutien technique.