Translations:AI and Machine Learning/35/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
(Created page with "* si votre ensemble de données est d'environ 10Go ou moins, il entre probablement dans la mémoire, dépendant de la quantité de mémoire de votre tâche. Vos tâches d'appr...")
 
No edit summary
Line 1: Line 1:
* si votre ensemble de données est d'environ 10Go ou moins, il entre probablement dans la mémoire, dépendant de la quantité de mémoire de votre tâche. Vos tâches d'apprentissage machine ne devrait pas faire de lecture d'un disque;
* si votre ensemble de données est d'environ 10Go ou moins, il entre probablement dans la mémoire, dépendant de la quantité de mémoire de votre tâche. Votre tâche d'apprentissage machine ne devrait lire de données sur disque;
* si votre ensemble de données est d'environ 100Go ou moins, il entre dans l'espace de stockage local du nœud de calcul; transférez-le dans cet espace au début de la tâche puisqu'il est beaucoup plus rapide et fiable que les espaces partagés que sont /home, /project et /scratch. Pour chaque tâche, un répertoire temporaire est disponible à $SLURM_TMPDIR; voyez l'exemple de [[Tutoriel Apprentissage machine|notre tutoriel]]. Il faut toutefois savoir qu'une autre tâche peut utiliser pleinement l'espace de stockage du nœud et ne vous laisser aucune place; (nous cherchons une solution à ce problème); par contre, si c'est votre jour de chance, vous pourriez avoir le téraoctet juste pour vous;
* si votre ensemble de données est d'environ 100Go ou moins, il entre dans l'espace de stockage local du nœud de calcul; transférez-le dans cet espace au début de la tâche puisqu'il est beaucoup plus rapide et fiable que les espaces partagés que sont /home, /project et /scratch. Pour chaque tâche, un répertoire temporaire est disponible à $SLURM_TMPDIR; voyez l'exemple de [[Tutoriel Apprentissage machine|notre tutoriel]]. Il faut toutefois savoir qu'une autre tâche peut utiliser pleinement l'espace de stockage du nœud et ne vous laisser aucune place; (nous cherchons une solution à ce problème); par contre, si c'est votre jour de chance, vous pourriez avoir le téraoctet juste pour vous;
* si votre ensemble de données est plus grand, vous pourriez devoir le laisser dans un espace partagé. Vous pouvez stocker des données de façon permanente dans votre espace /project; l'espace /scratch est parfois plus rapide, mais n'est pas conçu pour du stockage permanent. Tous les espaces de stockage partagés (/home, /project et /scratch) servent à stocker des gros blocs de données qui sont peu lus (peu souvent et à des intervalles de 1 seconde ou plus).
* si votre ensemble de données est plus grand, vous pourriez devoir le laisser dans un espace partagé. Vous pouvez stocker des données de façon permanente dans votre espace /project; l'espace /scratch est parfois plus rapide, mais n'est pas conçu pour du stockage permanent. Tous les espaces de stockage partagés (/home, /project et /scratch) servent à stocker des gros blocs de données qui sont peu lus (peu souvent et à des intervalles de 1 seconde ou plus).

Revision as of 15:49, 24 August 2020

Information about message (contribute)
This message has no documentation. If you know where or how this message is used, you can help other translators by adding documentation to this message.
Message definition (AI and Machine Learning)
* If your dataset is around 10 GB or less, it can probably fit in the memory, depending on how much memory your job has. You should not read data from disk during your machine learning tasks.
* If your dataset is around 100 GB or less, it can fit in the local storage of the compute node; please transfer it there at the beginning of the job. This storage is orders of magnitude faster and more reliable than shared storage (home, project, scratch). A temporary directory is available for each job at $SLURM_TMPDIR. An example is given in [[Tutoriel_Apprentissage_machine/en|our tutorial]]. A caveat of local node storage is that a job from another user might be using it fully, leaving you no space (we are currently studying this problem). However, you might also get lucky and have a whole terabyte at your disposal.
* If your dataset is larger, you may have to leave it in the shared storage. You can leave your datasets permanently in your project space. Scratch space can be faster, but it is not for permanent storage. Also, all shared storage (home, project, scratch) is for storing and reading at low frequencies (e.g. 1 large chunk every 10 seconds, rather than 10 small chunks every second).
  • si votre ensemble de données est d'environ 10Go ou moins, il entre probablement dans la mémoire, dépendant de la quantité de mémoire de votre tâche. Votre tâche d'apprentissage machine ne devrait lire de données sur disque;
  • si votre ensemble de données est d'environ 100Go ou moins, il entre dans l'espace de stockage local du nœud de calcul; transférez-le dans cet espace au début de la tâche puisqu'il est beaucoup plus rapide et fiable que les espaces partagés que sont /home, /project et /scratch. Pour chaque tâche, un répertoire temporaire est disponible à $SLURM_TMPDIR; voyez l'exemple de notre tutoriel. Il faut toutefois savoir qu'une autre tâche peut utiliser pleinement l'espace de stockage du nœud et ne vous laisser aucune place; (nous cherchons une solution à ce problème); par contre, si c'est votre jour de chance, vous pourriez avoir le téraoctet juste pour vous;
  • si votre ensemble de données est plus grand, vous pourriez devoir le laisser dans un espace partagé. Vous pouvez stocker des données de façon permanente dans votre espace /project; l'espace /scratch est parfois plus rapide, mais n'est pas conçu pour du stockage permanent. Tous les espaces de stockage partagés (/home, /project et /scratch) servent à stocker des gros blocs de données qui sont peu lus (peu souvent et à des intervalles de 1 seconde ou plus).
Retrieved from "https://docs.alliancecan.ca/mediawiki/index.php?title=Translations:AI_and_Machine_Learning/35/fr&oldid=88745"