Translations:Storage and file management/9/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
(Created page with "== Meilleures pratiques == * Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets. * Autant que possible, réservez le stockage local pour les fi...")
 
No edit summary
 
(17 intermediate revisions by 2 users not shown)
Line 1: Line 1:
== Meilleures pratiques ==  
== Meilleures pratiques ==  
* Nettoyez régulièrement les données dans les espaces <i>project</i> et <i>scratch</i> puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données.
* Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
* Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
* Autant que possible, réservez le stockage local pour les fichiers temporaires.
* Autant que possible, réservez le stockage <i>scratch</i> et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire <code>$SLURM_TMPDIR</code> créé par [https://docs.computecanada.ca/wiki/Running_jobs/fr l'ordonnanceur] à cet effet.
* Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord, ou d'utiliser un disque RAM.
* Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord.
* Nettoyez régulièrement les données dans les espaces projet et ''scratch'' puisque ceux-ci sont utilisés pour d'immenses collections de données.
* Si certains fichiers non utilisés doivent être conservés, [[Archiving and compressing files/fr|archivez-les et compressez-les]] et si possible, copiez-les ailleurs, par exemple dans [[Using nearline storage/fr|le système de fichiers nearline]].
* Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs (voir [[Archiving and compressing files|Archiving and compressing]]).
* Pour plus de renseignements sur la gestion d'un grand nombre de fichiers, nous recommandons la lecture de [[Handling large collections of files/fr | cette page]], particulièrement si vous êtes limité par le quota sur le nombre de fichiers.
* SI les solutions de stockage offertes ne conviennent pas à vos besoins, écrivez au [mailto:support@calculcanada.ca soutien technique].
* Il est possible que vous ayez des problèmes, peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme <i>home</i>, <i>scratch</i> et <i>project</i>; pour contrer ceci, utilisez un outil spécialisé comme [https://en.wikipedia.org/wiki/Message_Passing_Interface#I/O MPI-IO].  
* Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le [[Technical support/fr|soutien technique]].

Latest revision as of 23:02, 22 June 2023

Information about message (contribute)
This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.
Message definition (Storage and file management)
== Best practices ==
* Regularly clean up your data in the scratch and project spaces, because those filesystems are used for huge data collections.
* Only use text format for files that are smaller than a few megabytes.
* As far as possible, use scratch and local storage for temporary files. For local storage you can use the temporary directory created by the [[Running jobs|job scheduler]] for this, named <code>$SLURM_TMPDIR</code>.
* If your program must search within a file, it is fastest to do it by first reading it completely before searching.
* If you no longer use certain files but they must be retained, [[Archiving and compressing files|archive and compress]] them, and if possible move them to an alternative location like [[Using nearline storage|nearline]].
* For more on managing many files, see [[Handling large collections of files]], especially if you are limited by a quota on the number of files. 
* Having any sort of parallel write access to a file stored on a shared filesystem like home, scratch and project is likely to create problems unless you are using a specialized tool such as [https://en.wikipedia.org/wiki/Message_Passing_Interface#I/O MPI-IO]. 
* If your needs are not well served by the available storage options please contact [[technical support]].

Meilleures pratiques

  • Nettoyez régulièrement les données dans les espaces project et scratch puisque ces systèmes de fichiers sont utilisés pour d'immenses collections de données.
  • Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
  • Autant que possible, réservez le stockage scratch et le stockage local pour les fichiers temporaires. Pour le stockage local, vous pouvez utiliser le répertoire temporaire $SLURM_TMPDIR créé par l'ordonnanceur à cet effet.
  • Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord.
  • Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs, par exemple dans le système de fichiers nearline.
  • Pour plus de renseignements sur la gestion d'un grand nombre de fichiers, nous recommandons la lecture de cette page, particulièrement si vous êtes limité par le quota sur le nombre de fichiers.
  • Il est possible que vous ayez des problèmes, peu importe le type d'accès parallèle en lecture à des fichiers dans un système de fichiers comme home, scratch et project; pour contrer ceci, utilisez un outil spécialisé comme MPI-IO.
  • Si les solutions de stockage offertes ne conviennent pas à vos besoins, contactez le soutien technique.