38,939
edits
No edit summary |
(Updating to match new version of source page) |
||
Line 5: | Line 5: | ||
==Installation== | ==Installation== | ||
<div class="mw-translate-fuzzy"> | |||
Les directives suivantes servent à installer TensorFlow dans votre répertoire personnel (''home'') à l'aide des ([http://pythonwheels.com/ ''wheels'' Python ]) préparés par Calcul Canada; ils se trouvent dans <code>/cvmfs/soft.computecanada.ca/custom/python/wheelhouse/</code>. | Les directives suivantes servent à installer TensorFlow dans votre répertoire personnel (''home'') à l'aide des ([http://pythonwheels.com/ ''wheels'' Python ]) préparés par Calcul Canada; ils se trouvent dans <code>/cvmfs/soft.computecanada.ca/custom/python/wheelhouse/</code>. | ||
<br /> | <br /> | ||
Line 10: | Line 11: | ||
<br /> | <br /> | ||
Ces directives sont valides pour Python 3.6; d'autres versions peuvent être installées en utilisant le module approprié. | Ces directives sont valides pour Python 3.6; d'autres versions peuvent être installées en utilisant le module approprié. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Chargez les modules requis par TensorFlow. | Chargez les modules requis par TensorFlow. | ||
{{Command2|module load python/3.6}} | {{Command2|module load python/3.6}} | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Créez un nouvel environnement Python. | Créez un nouvel environnement Python. | ||
{{Command2|virtualenv tensorflow}} | {{Command2|virtualenv tensorflow}} | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Activez le nouvel environnement. | Activez le nouvel environnement. | ||
{{Command2|source tensorflow/bin/activate}} | {{Command2|source tensorflow/bin/activate}} | ||
</div> | |||
Pour installer TensorFlow dans votre nouvel environnement virtuel, voyez les sections ci-dessous. | <div class="mw-translate-fuzzy"> | ||
Pour installer TensorFlow dans votre nouvel environnement virtuel, voyez les sections ci-dessous. | |||
</div> | |||
'''Do not''' install the <code>tensorflow</code> package (without the <code>_cpu</code> or <code>_gpu</code> suffixes) as it has compatibility issues with other libraries. | |||
<div class="mw-translate-fuzzy"> | |||
Veillez à '''ne pas installer''' le paquet <code>tensorflow</code> sans le suffixe <code>_cpu</code> ou <code>_gpu</code> car il existe des problèmes de compatibilité avec d'autres bibliothèques. | Veillez à '''ne pas installer''' le paquet <code>tensorflow</code> sans le suffixe <code>_cpu</code> ou <code>_gpu</code> car il existe des problèmes de compatibilité avec d'autres bibliothèques. | ||
Line 27: | Line 40: | ||
{{Command2|prompt=(tensorflow)_[name@server ~]$ | {{Command2|prompt=(tensorflow)_[name@server ~]$ | ||
|pip install tensorflow-cpu}} | |pip install tensorflow-cpu}} | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
=== GPU === | === GPU === | ||
</div> | |||
=== Le paquet R === | === Le paquet R === | ||
Line 37: | Line 50: | ||
Pour utiliser TensorFlow en R, suivez les directives données ci-dessus pour créer un environnement virtuel et y installer TensorFlow. Suivez ensuite cette procédure ː | Pour utiliser TensorFlow en R, suivez les directives données ci-dessus pour créer un environnement virtuel et y installer TensorFlow. Suivez ensuite cette procédure ː | ||
<div class="mw-translate-fuzzy"> | |||
#Chargez les modules requis. | #Chargez les modules requis. | ||
#:{{Command2|module load gcc/7.3.0 r/3.5.2}} | #:{{Command2|module load gcc/7.3.0 r/3.5.2}} | ||
Line 48: | Line 62: | ||
devtools::install_github('rstudio/tensorflow') | devtools::install_github('rstudio/tensorflow') | ||
</syntaxhighlight> | </syntaxhighlight> | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Vous pouvez maintenant procéder. N'appelez pas <code>install_tensorflow()</code> en R puisque TensorFlow est déjà installé dans votre environnement virtuel avec pip. Pour utiliser TensorFlow tel qu'installé dans votre environnement virtuel, entrez les commandes suivantes en R, après que l'environnement est activé. | Vous pouvez maintenant procéder. N'appelez pas <code>install_tensorflow()</code> en R puisque TensorFlow est déjà installé dans votre environnement virtuel avec pip. Pour utiliser TensorFlow tel qu'installé dans votre environnement virtuel, entrez les commandes suivantes en R, après que l'environnement est activé. | ||
</div> | |||
<syntaxhighlight lang="r"> | <syntaxhighlight lang="r"> | ||
Line 56: | Line 73: | ||
</syntaxhighlight> | </syntaxhighlight> | ||
<div class="mw-translate-fuzzy"> | |||
==Soumettre une tâche TensorFlow avec un GPU== | ==Soumettre une tâche TensorFlow avec un GPU== | ||
Soumettez une tâche TensorFlow ainsi | Soumettez une tâche TensorFlow ainsi | ||
{{Command2|sbatch tensorflow-test.sh}} | {{Command2|sbatch tensorflow-test.sh}} | ||
Le script contient | Le script contient | ||
</div> | |||
{{File | {{File | ||
|name=tensorflow-test.sh | |name=tensorflow-test.sh | ||
Line 75: | Line 94: | ||
python ./tensorflow-test.py | python ./tensorflow-test.py | ||
}} | }} | ||
<div class="mw-translate-fuzzy"> | |||
Le script Python se lit | Le script Python se lit | ||
</div> | |||
{{File | {{File | ||
|name=tensorflow-test.py | |name=tensorflow-test.py | ||
Line 87: | Line 108: | ||
print(sess.run([node1, node2])) | print(sess.run([node1, node2])) | ||
}} | }} | ||
<div class="mw-translate-fuzzy"> | |||
Une fois la tâche complétée, ce qui devrait nécessiter moins d'une minute, un fichier de sortie avec un nom semblable à <tt>cdr116-122907.out</tt> devrait être généré. Le contenu de ce fichier serait similaire à ce qui suit : | Une fois la tâche complétée, ce qui devrait nécessiter moins d'une minute, un fichier de sortie avec un nom semblable à <tt>cdr116-122907.out</tt> devrait être généré. Le contenu de ce fichier serait similaire à ce qui suit : | ||
</div> | |||
{{File | {{File | ||
|name=cdr116-122907.out | |name=cdr116-122907.out | ||
Line 105: | Line 128: | ||
}} | }} | ||
<div class="mw-translate-fuzzy"> | |||
TensorFlow fonctionne sur tous les types de nœuds GPU. Pour la recherche de grande envergure en apprentissage profond ou en apprentissage machine, il est fortement recommandé d'utiliser le type de nœuds ''GPU large'' de Cedar. Ces nœuds sont équipés de 4 x P100-PCIE-16Go avec [http://developer.download.nvidia.com/devzone/devcenter/cuda/docs/GPUDirect_Technology_Overview.pdf GPUDirect P2P] entre chaque paire. Pour plus d'information, consultez [[Using GPUs with Slurm/fr|cette page]]. | TensorFlow fonctionne sur tous les types de nœuds GPU. Pour la recherche de grande envergure en apprentissage profond ou en apprentissage machine, il est fortement recommandé d'utiliser le type de nœuds ''GPU large'' de Cedar. Ces nœuds sont équipés de 4 x P100-PCIE-16Go avec [http://developer.download.nvidia.com/devzone/devcenter/cuda/docs/GPUDirect_Technology_Overview.pdf GPUDirect P2P] entre chaque paire. Pour plus d'information, consultez [[Using GPUs with Slurm/fr|cette page]]. | ||
</div> | |||
== Compatiblité du répertoire ''contrib'' == | == Compatiblité du répertoire ''contrib'' == | ||
<div class="mw-translate-fuzzy"> | |||
Calcul Canada compile des ''wheels'' pour obtenir la meilleure performance et ajouter des fonctionnalités qui ne sont pas disponibles dans les versions TensorFLow de Google. Certaines de ces fonctionnalités font partie du [https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib répertoire ''contrib''] de TensorFlow mais le soutien technique n'est pas dispensé officiellement par les développeurs de TensorFlow ni par Calcul Canada. | Calcul Canada compile des ''wheels'' pour obtenir la meilleure performance et ajouter des fonctionnalités qui ne sont pas disponibles dans les versions TensorFLow de Google. Certaines de ces fonctionnalités font partie du [https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib répertoire ''contrib''] de TensorFlow mais le soutien technique n'est pas dispensé officiellement par les développeurs de TensorFlow ni par Calcul Canada. | ||
</div> | |||
<div class="mw-translate-fuzzy"> | |||
Le tableau suivant montre la compatibilité des fonctionnalités de ''contrib''. | Le tableau suivant montre la compatibilité des fonctionnalités de ''contrib''. | ||
{| class="wikitable" | {| class="wikitable" | ||
Line 149: | Line 177: | ||
|} | |} | ||
Pour faire ajouter une fonctionnalité dont vous avez besoin, contactez le [[Technical support/fr|soutien technique]]. Nous tenterons de recompiler TensorFlow en incluant la fonctionnalité. | Pour faire ajouter une fonctionnalité dont vous avez besoin, contactez le [[Technical support/fr|soutien technique]]. Nous tenterons de recompiler TensorFlow en incluant la fonctionnalité. | ||
</div> | |||
==Suivi== | ==Suivi== |