Accessing CVMFS/fr: Difference between revisions

Les répertoires de logiciels et de données que nous offrons sont accessibles via le [[CVMFS/fr|CVMFS (''CERN Virtual Machine File System'')]]. Puisque CVMFS est préconfiguré pour vous, vous pouvez utiliser ses répertoires directement.  Pour plus d’information sur notre environnement logiciel, consultez les pages wiki [[Available software/fr|Logiciels disponibles]], [[Utiliser des modules]], [[Python/fr|Python]], [[R/fr|R]] et [[Installing software in your home directory/fr|Installation de logiciels dans votre répertoire /home]].

Nous décrivons ici comment installer et configurer CVMFS sur ''votre propre ordinateur ou grappe''; vous aurez ainsi accès aux mêmes répertoires et environnements logiciels que ceux de nos systèmes.

Nous utilisons comme exemple [https://ssl.linklings.net/conferences/pearc/pearc19_program/views/includes/files/pap139s3-file1.pdf l'environnement logiciel présenté à la conférence PEARC 2019], ''Practices and Experience in Advanced Research Computing''.

   |panelstyle=callout

   |content=

}}

== S'abonner au service d'annonces ==

Des modifications peuvent être apportées au CVMFS ou aux logiciels et autre contenu des répertoires que nous fournissions; ces modifications ''touchent les utilisateurs ou nécessitent l’intervention de l’administrateur'' pour assurer la continuité du service.

Abonnez-vous à la liste de diffusion cvmfs-announce@gw.alliancecan.ca afin de recevoir les annonces importantes occasionnelles. Vous pouvez vous abonner en écrivant à [mailto:cvmfs-announce+subscribe@gw.alliancecan.ca cvmfs-announce+subscribe@gw.alliancecan.ca] et en répondant au courriel de confirmation qui vous sera envoyé.

Les membres de nos équipes techniques peuvent aussi  [https://groups.google.com/u/0/a/gw.alliancecan.ca/g/cvmfs-announce/s'abonner ici].

== Conditions d’utilisation et soutien technique ==

Le logiciel client CVMFS est fourni par le CERN. Nos répertoires CVMFS sont offerts '''sans aucune forme de garantie'''. Votre accès aux répertoires et à l’environnement logiciel peut être limité ou bloqué si vous contrevenez aux [https://www.computecanada.ca/page-daccueil-du-portail-de-recherche/securite-de-linformation/conditions-dutilisation/?lang=fr conditions d’utilisation], ou à notre discrétion.

== Exigences techniques ==

Si ces conditions ne sont pas respectées ou que vous avez d’autres restrictions, considérez cette  [https://cvmfs.readthedocs.io/en/stable/cpt-hpc.html autre option].

=== Pour plusieurs systèmes ===

Pour déployer plusieurs clients CVMFS, par exemple avec une grappe, dans un laboratoire, sur un campus ou autre, chacun des systèmes doit satisfaire les exigences particulières énoncées ci-dessus. Tenez compte en plus des points suivants :

* Nous vous recommandons de synchroniser l’identité du compte de service <code>cvmfs</code> de tous les nœuds clients avec LDAP ou autrement.

** Ceci facilitera l’utilisation d’une [https://cvmfs.readthedocs.io/en/stable/cpt-configure.html#alien-cache cache externe] et devrait être fait '''avant que CVMFS ne soit installé'''. Même si l’utilisation d’une cache externe n’est pas prévue, il est plus facile de synchroniser les comptes dès le départ que d’essayer de les changer plus tard.

== Exigences de l’environnement logiciel ==

Autrement, suivez les directives ci-dessous.

==Préinstallation==

Nous recommandons que la cache locale CVMFS (située par défaut dans <code>/var/lib/cvmfs</code> et configurable avec le paramètre <code>CVMFS_CACHE_BASE</code>) soit localisée dans un système de fichiers dédié afin que le stockage ne soit pas partagé avec celui d’autres applications. Vous devriez donc avoir ce système de fichiers '''avant''' d’installer CVMFS.

== Installation ==

Pour une configuration client standard, voir [https://cvmfs.readthedocs.io/en/stable/cpt-quickstart.html#setting-up-the-software ces directives] et [http://cvmfs.readthedocs.io/en/stable/apx-parameters.html#client-parameters client la documentation sur les paramètres].

Le répertoire <tt>soft.computecanada.ca</tt> est fourni  avec la configuration et vous pouvez ainsi y accéder; vous pouvez l'inclure dans vote configuration client <tt>CVMFS_REPOSITORIES</tt>.

== Test ==

En cas de problème, ce [https://cvmfs.readthedocs.io/en/stable/cpt-quickstart.html#troubleshooting guide de débogage] pourrait vous être utile.

= Activer notre environnement dans votre session =

Une fois que le répertoire CVMFS est monté, notre environnement est activé dans votre session en utilisant le script <tt>/cvmfs/soft.computecanada.ca/config/profile/bash.sh</tt>. Celui-ci chargera des modules par défaut. Si vous désirez avoir les modules par défaut d'une grappe de calcul en particulier, définissez la variable <tt>CC_CLUSTER</tt> en choisissant l'une des valeurs suivantes <tt>beluga</tt>, <tt>cedar</tt> ou <tt>graham</tt>, avant d'utiliser le script. Par exemple:  

{{Command|export CC_CLUSTER{{=}}beluga}}

{{Command|source /cvmfs/soft.computecanada.ca/config/profile/bash.sh}}

Cette commande '''n’exécutera rien si votre identifiant d’utilisateur est sous 1000'''. Il s’agit d’une mesure de sécurité parce que vous ne devriez pas vous attendre à ce que notre environnement logiciel vous procure des privilèges de fonctionnement. Si vous voulez quand même activer notre environnement, vous pouvez d’abord définir la variable <tt>FORCE_CC_CVMFS=1</tt> avec la commande  

{{Command|export FORCE_CC_CVMFS{{=}}1}}

ou, si vous voulez que notre environnement soit actif en permanence, vous pouvez créer le fichier <tt>$HOME/.force_cc_cvmfs</tt> dans votre répertoire <tt>/home</tt> avec

{{Command|touch $HOME/.force_cc_cvmfs}}

Si vous voulez au contraire ne pas activer notre environnement, vous pouvez définir <tt>SKIP_CC_CVMFS=1</tt> ou créer le fichier <tt>$HOME/.skip_cc_cvmfs</tt> pour faire en sorte que notre environnement ne soit jamais activé dans cet environnement particulier.

==Personnaliser votre environnement==

Par défaut, certaines fonctionnalités de votre système seront automatiquement détectées par l’activation de notre environnement et les modules requis seront chargés. Ce comportement par défaut peut être modifié par la définition préalable des variables d’environnement particulières décrites ci-dessous.  

=== Variables d’environnement ===

==== <tt>CC_CLUSTER</tt> ====

Cette variable identifie la grappe. Elle achemine des renseignements au journal du système et définit le comportement à adopter selon la licence du logiciel. Sa valeur par défaut est <tt>computecanada</tt>. Vous pourriez définir sa valeur pour que les journaux soient identifiés par le nom de votre système.

==== <tt>RSNT_ARCH</tt> ====

Cette variable identifie le jeu d’instructions CPU pour le système. Par défaut, elle est détectée automatiquement selon <tt>/proc/cpuinfo</tt>. Vous pouvez cependant utiliser un autre jeu d’instructions en définissant la variable avant d’activer l’environnement. Les jeux possibles sont :

* avx2

* avx512

==== <tt>RSNT_INTERCONNECT</tt> ====

Cette variable identifie le type d’interconnexion réseau du système. Elle est détectée automatiquement selon la présence de  <tt>/sys/module/opa_vnic</tt> pour OmniPath ou de <tt>/sys/module/ib_core</tt> pour InfiniBand. La valeur de remplacement est <tt>ethernet</tt>. Les valeurs possibles sont :

* infiniband

* ethernet

La valeur de la variable déclenche des options différentes du protocole de transport pour OpenMPI.

==== <tt>RSNT_CUDA_DRIVER_VERSION</tt> ====

Si aucune bibliothèque ne se trouve dans <tt>/usr/lib64/nvidia</tt>, nous supposons que les versions du pilote sont suffisantes pour CUDA 10.2. Ceci est pour assurer la compatibilité avec les versions antérieures puisque cette fonctionnalité a été rendue disponible à la sortie de CUDA 11.0.

Définir la variable d’environnement <tt>RSNT_CUDA_DRIVER_VERSION=0.0</tt> cache toutes les versions de CUDA.

==== <tt>RSNT_LOCAL_MODULEPATHS</tt> ====

Cette variable identifie les endroits où se trouvent les arbres de modules locaux et les intègre à notre arborescence centrale. Définissez d’abord

et installez ensuite votre recette EasyBuild avec

{{Command|eb --installpath /opt/software/easybuild <your recipe>.eb}}

Notre nomenclature de modules sera employée pour installer localement votre recette qui sera utilisée dans la hiérarchie des modules. Par exemple, si la recette utilise la chaîne de compilation <tt>iompi,2018.3</tt>, le module sera disponible après que les modules <tt>intel/2018.3</tt> et <tt>openmpi/3.1.2</tt> auront été chargés.

==== <tt>LMOD_SYSTEM_DEFAULT_MODULES</tt> ====

Cette variable identifie les modules à charger par défaut. Si elle n’est pas définie, notre environnement charge par défaut le module <tt>StdEnv</tt> qui à son tour charge par défaut une version du compilateur Intel ainsi qu’une version OpenMPI.

==== <tt>MODULERCFILE</tt> ====

Cette variable est utilisée par Lmod pour définir la version par défaut des modules et alias. Vous pouvez définir votre propre fichier <tt>modulerc</tt> et l'ajouter à <tt>MODULERCFILE</tt>. Ceci aura préséance sur ce qui est défini dans notre environnement.

===Chemin des fichiers===

Notre environnement logiciel est conçu pour dépendre le moins possible du système d’exploitation hôte; cependant, il doit reconnaître certains chemins afin de faciliter les interactions avec les outils qui y sont installés.  

==== <tt>/opt/software/modulefiles</tt> ====

==== <tt>$HOME/modulefiles</tt> ====

S’il existe, ce chemin est automatiquement ajouté au MODULEPATH par défaut. Ceci permet l’utilisation de notre environnement en permettant l’installation de modules dans les répertoires <tt>/home</tt>.

==== <tt>/opt/software/slurm/bin</tt>, <tt>/opt/software/bin</tt>, <tt>/opt/slurm/bin</tt> ====

Ces chemins sont automatiquement ajoutés au <tt>PATH</tt> par défaut. Il permet l'ajout de votre exécutable dans le chemin de recherche.

== Installation locale de logiciels ==

Depuis juin 2020, il est possible d'installer des modules additionnels sur votre grappe de calcul; ces modules seront par la suite reconnus par notre hiérarchie centrale.  Pour plus d'information, voyez la [https://github.com/ComputeCanada/software-stack/issues/11 discussion et l'implémentation à ce sujet].  

Pour installer des modules additionnels, identifiez d'abord un chemin où installer les logiciels, par exemple <tt>/opt/software/easybuild</tt>. Assurez-vous que ce dossier existe. Exportez ensuite la variable d'environnement <tt>RSNT_LOCAL_MODULEPATHS</tt> :  

{{Command|export RSNT_LOCAL_MODULEPATHS{{=}}/opt/software/easybuild/modules}}

Si vous voulez que vos utilisateurs puissent  trouver cette branche, nous vous recommandons de définir cette variable d'environnement dans le profil commun de la grappe. Installez ensuite les paquets logiciels que vous voulez avec EasyBuild :  

Les logiciels seront installés localement selon notre hiérarchie de nomenclature de modules. Ils seront automatiquement présentés aux utilisateurs quand ils chargent notre compilateur, MPI et CUDA.

=Mises en garde=

==Utilisation de l’environnement logiciel par un administrateur==

Si vous effectuez des opérations de système avec des privilèges ou des opérations en rapport avec CVMFS, [[Accessing_CVMFS/fr#Activer_notre_environnement_dans_votre_session|assurez-vous]] que votre session ''ne dépend pas de l’environnement logiciel''. Par exemple, si vous faites la mise à jour de CVMFS avec YUM pendant que votre session utilise un module Python chargé à partir de CVMFS, YUM pourrait être exécuté en utilisant ce même module et en perdre l’accès par la mise à jour qui serait alors bloquée. De même, si votre environnement dépend de CVMFS et que vous reconfigurez CVMFS de façon à ce que l'accès à CVMFS soit temporairement interrompu, votre session pourrait nuire aux opérations de CVMFS ou être suspendue. Tenant compte de ceci, la mise à jour ou la reconfiguration de CVMFS peut se faire sans interruption de service dans la plupart des cas, car l'opération réussirait en raison de l'absence d'une dépendance circulaire.

== Paquets logiciels non disponibles ==

Nous mettons plusieurs logiciels du commerce à la disposition des utilisateurs, sous condition de la licence de ces produits. Ces logiciels ne sont pas disponibles ailleurs qu’avec nos ressources et vous n’y aurez pas droit d’accès même si vous suivez les directives pour installer et configurer CVMFS. Prenons l’exemple des compilateurs d’Intel et du Portland Group : si les modules pour ces compilateurs sont disponibles, vous n’avez accès qu’aux parties redistribuables, habituellement les objets partagés. Vous pourrez exécuter des applications compilées, mais il ne vous sera pas possible de compiler de nouvelles applications.

== Localisation de CUDA  ==

{{File|name=script.sh|contents=

}}

== <tt>LD_LIBRARY_PATH</tt> ==

== Bibliothèques introuvables ==

Puisque nous ne définissons pas <tt>LD_LIBRARY_PATH</tt> et que nos bibliothèques ne sont pas installées dans des localisations Linux par défaut, les paquets binaires comme Anaconda ont souvent de la difficulté à trouver les bibliothèques dont ils ont besoin. Consultez notre [[Installing_software_in_your_home_directory/fr#Installer_des_paquets_binaires|documentation sur l’installation de paquets binaires ]].

== dbus ==

Pour certaines applications, <tt>dbus</tt> doit être installé localement, sur le système d’exploitation hôte.