rsnt_translations
56,430
edits
No edit summary |
No edit summary |
||
Line 116: | Line 116: | ||
==== Installation de paquets dépendants ==== | ==== Installation de paquets dépendants ==== | ||
Dans certains cas, par exemple avec TensorFlow ou Pytorch, nous offrons des wheels particuliers pour CPU ou GPU, avec les suffixes <code>_cpu</code> et <code>_gpu</code>. L'installation de paquets dépendants de <code>tensorflow</code> ne fonctionnera pas. | |||
Dans certains cas, par exemple avec TensorFlow ou Pytorch, nous offrons des wheels particuliers pour CPU ou GPU, avec les suffixes < | Si <code>my_package</code> dépend de <code>numpy</code> et <code>tensorflow</code>, les commandes suivantes nous permettront de l'installer. | ||
Si < | |||
{{Commands|prompt=(ENV) [name@server ~] | {{Commands|prompt=(ENV) [name@server ~] | ||
|pip install numpy tensorflow_cpu --no-index | |pip install numpy tensorflow_cpu --no-index | ||
|pip install my_package --no-deps | |pip install my_package --no-deps | ||
}} | }} | ||
L'option < | L'option <code>--no-deps</code> indique à <code>pip</code> de ne pas tenir compte des dépendances. | ||
===Créer un environnement virtuel dans vos tâches=== | ===Créer un environnement virtuel dans vos tâches=== | ||
Les systèmes de fichiers parallèles comme ceux qui sont installés sur les grappes de Calcul Canada sont très efficaces lorsqu'il s'agit de lire ou d'écrire de grandes portions de données, mais pas pour une utilisation intensive de petits fichiers. Pour cette raison, le lancement d'un logiciel et le chargement de bibliothèques peuvent être lents, ce qui se produit quand on lance Python et qu'on charge un environnement virtuel. | |||
Les systèmes de fichiers parallèles comme ceux qui sont installés sur les grappes de Calcul Canada sont très efficaces lorsqu'il s'agit de lire ou d'écrire de grandes portions de données, mais pas pour une utilisation intensive de petits fichiers. Pour cette raison, le lancement d'un logiciel et le chargement de bibliothèques peuvent être lents, ce qui se produit quand on lance Python et qu'on charge un environnement virtuel. | |||
Pour contrer ce genre de ralentissement, particulièrement pour les tâches Python sur un nœud unique, vous pouvez créer votre environnement virtuel à l'intérieur de votre tâche en utilisant le disque local du nœud de calcul. Il peut sembler déraisonnable de recréer votre environnement pour chacune de vos tâches, mais c'est souvent plus rapide et plus efficace que d'utiliser le système de fichiers parallèles. Il faut créer un virtualenv localement sur chacun des nœuds utilisés par la tâche puisque l'accès à virtualenv se fait par nœud. Le script suivant en est un exemple | Pour contrer ce genre de ralentissement, particulièrement pour les tâches Python sur un nœud unique, vous pouvez créer votre environnement virtuel à l'intérieur de votre tâche en utilisant le disque local du nœud de calcul. Il peut sembler déraisonnable de recréer votre environnement pour chacune de vos tâches, mais c'est souvent plus rapide et plus efficace que d'utiliser le système de fichiers parallèles. Il faut créer un virtualenv localement sur chacun des nœuds utilisés par la tâche puisque l'accès à virtualenv se fait par nœud. Le script suivant en est un exemple |