Python/fr: Difference between revisions

Jump to navigation Jump to search
no edit summary
No edit summary
No edit summary
Line 116: Line 116:
==== Installation de paquets dépendants ====
==== Installation de paquets dépendants ====


<div class="mw-translate-fuzzy">
Dans certains cas, par exemple avec TensorFlow ou Pytorch, nous offrons des wheels particuliers pour  CPU ou GPU, avec les suffixes <code>_cpu</code> et <code>_gpu</code>. L'installation de paquets dépendants de <code>tensorflow</code> ne fonctionnera pas.  
Dans certains cas, par exemple avec TensorFlow ou Pytorch, nous offrons des wheels particuliers pour  CPU ou GPU, avec les suffixes <tt>_cpu</tt> et <tt>_gpu</tt> respectivement. L'installation de paquets dépendants de <tt>tensorflow</tt> ne fonctionnera pas.  
Si <code>my_package</code> dépend de <code>numpy</code> et <code>tensorflow</code>, les commandes suivantes nous permettront de l'installer.
Si <tt>my_package</tt> dépend de <tt>numpy</tt> et <tt>tensorflow</tt>, les commandes suivantes nous permettront de l'installer.
{{Commands|prompt=(ENV) [name@server ~]
{{Commands|prompt=(ENV) [name@server ~]
|pip install numpy tensorflow_cpu --no-index
|pip install numpy tensorflow_cpu --no-index
|pip install my_package --no-deps
|pip install my_package --no-deps
}}
}}
L'option <tt>--no-deps</tt> indique à <tt>pip</tt> de ne pas tenir compte des dépendances.
L'option <code>--no-deps</code> indique à <code>pip</code> de ne pas tenir compte des dépendances.
</div>


===Créer un environnement virtuel dans vos tâches===
===Créer un environnement virtuel dans vos tâches===


<div class="mw-translate-fuzzy">
Les systèmes de fichiers parallèles comme ceux qui sont installés sur les grappes de Calcul Canada sont très efficaces lorsqu'il s'agit de lire ou d'écrire de grandes portions de données, mais pas pour une utilisation intensive de petits fichiers. Pour cette raison, le lancement d'un logiciel et le chargement de bibliothèques peuvent être lents, ce qui se produit quand on lance Python et qu'on charge un environnement virtuel.  
Les systèmes de fichiers parallèles comme ceux qui sont installés sur les grappes de Calcul Canada sont très efficaces lorsqu'il s'agit de lire ou d'écrire de grandes portions de données, mais pas pour une utilisation intensive de petits fichiers. Pour cette raison, le lancement d'un logiciel et le chargement de bibliothèques peuvent être lents, ce qui se produit quand on lance Python et qu'on charge un environnement virtuel.
</div>


Pour contrer ce genre de ralentissement, particulièrement pour les tâches Python sur un nœud unique, vous pouvez créer votre environnement virtuel à l'intérieur de votre tâche en utilisant le disque local du nœud de calcul. Il peut sembler déraisonnable de recréer votre environnement pour chacune de vos tâches, mais c'est souvent plus rapide et plus efficace que d'utiliser le système de fichiers parallèles. Il faut créer un virtualenv localement sur chacun des nœuds utilisés par la tâche puisque l'accès à virtualenv se fait par nœud. Le script suivant en est un exemple  
Pour contrer ce genre de ralentissement, particulièrement pour les tâches Python sur un nœud unique, vous pouvez créer votre environnement virtuel à l'intérieur de votre tâche en utilisant le disque local du nœud de calcul. Il peut sembler déraisonnable de recréer votre environnement pour chacune de vos tâches, mais c'est souvent plus rapide et plus efficace que d'utiliser le système de fichiers parallèles. Il faut créer un virtualenv localement sur chacun des nœuds utilisés par la tâche puisque l'accès à virtualenv se fait par nœud. Le script suivant en est un exemple  
rsnt_translations
56,426

edits

Navigation menu