Globus

From CC Doc
Jump to navigation Jump to search
This site replaces the former Compute Canada documentation site, and is now being managed by the Digital Research Alliance of Canada.

Ce site remplace l'ancien site de documentation de Calcul Canada et est maintenant géré par l'Alliance de recherche numérique du Canada.

This page is a translated version of the page Globus and the translation is 100% complete.
Other languages:
English • ‎français

Globus est un service qui permet le transfert de fichiers de façon rapide, fiable et sécuritaire. Conçue expressément pour les besoins de la recherche, l'interface utilisateur de Globus comporte des fonctions de suivi en arrière-plan qui automatisent la gestion des transferts de fichiers entre deux supports, qu'il s'agisse des équipements de Calcul Canada ou d'un autre site, d'une grappe localisée sur un campus, d'un serveur de laboratoire, d'un microordinateur ou d'un ordinateur portatif.

Globus utilise le protocole de transfert GridFTP, mais épargne à l’utilisateur les tâches complexes et laborieuses qui s’y associent ainsi que d’autres aspects liés au déplacement des données. Le service améliore la performance des protocoles GridFTP, rsync, scp et sftp par le réglage automatique des paramètres de transfert, le redémarrage automatique lorsqu’il y a interruption du transfert et la vérification de l’intégrité des fichiers.

Vous pouvez accéder au service par le site Web de Globus ou par le portail Globus de Calcul Canada sur https://globus.computecanada.ca.

Utilisation

Rendez-vous sur http://globus.calculcanada.ca. Pour vous connecter, utilisez les informations d'identification pour votre compte CCDB. Sélectionnez Compute Canada dans la liste déroulante et cliquez sur Continue. Entrez les informations d'identification pour votre compte CCDB dans les champs Username et Password et cliquez sur Sign in; la page MyProxy est affichée. Ceci vous conduit au portail Web pour Globus.

Authentification Globus (cliquez pour agrandir)

Démarrer un transfert

Les transferts de données se font entre collections (points de chute dans les versions précédentes). Des collections sont déjà définies pour la plupart de nos systèmes. Pour transférer des fichiers en provenance ou à destination de votre ordinateur, vous devez créer une collection. Une fois que cette étape quelque peu exigeante est accomplie, il ne restera qu'à vous assurer que l'application Globus Connect Personal est en opération sur votre ordinateur pour effectuer un transfert. Voir plus bas la section Ordinateurs personnels.

Si la page File Manager du portail Globus n'est pas affichée (voir l'image), sélectionnez-la à partir de la barre de gauche.

File Manager (cliquez pour agrandir)

Trois boutons Panels se trouvent à droite dans le haut de la page; pour voir deux collections, cliquez sur le deuxième.

Pour trouver une collection, cliquez sur Search dans le champ Collection et entrez le nom de la collection.

Sélectionner une collection (cliquez pour agrandir)

Pour sélectionner une collection, vous pouvez commencer à entrer son nom. Par exemple, pour transférer des données en provenance ou à destination de Béluga, entrez beluga, attendez deux secondes et sélectionnez computecanada#beluga-dtn dans la liste affichée.

Toutes les ressources de Calcul Canada ont le préfixe computecanada#. Par exemple, computecanada#beluga-dtn, computecanada#cedar-dtn, computecanada#graham-globus ou computecanada#niagaradtn signifie data transfer node.

Dépendant du site où se trouve la collection, vous pourriez devoir l'authentifier. Par exemple, si vous activez une collection qui se trouve sur Graham, vous devrez entrer votre identifiant et votre mot de passe de Calcul Canada. L'authentification d'une collection de Calcul Canada reste habituellement valide pour une semaine alors que celle des collections personnelles n'a pas d'échéance.

Faites une recherche pour sélectionner une deuxième collection et authentifiez si requis.

Une fois la collection activée, la liste de ses répertoires et fichiers est affichée. En parcourant la liste, vous pouvez doublecliquer sur un répertoire et utiliser l'icône pour aller au répertoire parent. Cliquez sur le fichier ou le répertoire que vous voulez transférer. Pour sélectionner plusieurs éléments, maintenez la touche Ctrl enfoncée et cliquez sur les éléments à transférer. Cliquez ensuite sur un des boutons bleus dont la flèche blanche indique la direction du transfert. La tâche de transfert est allouée un numéro unique et débute immédiatement. Un courriel de confirmation vous est envoyé lorsque la tâche de transfert est accomplie. Vous pouvez suivre les transferts en cours et consulter les détails en rapport avec les transferts complétés par le bouton Activity (https://globus.computecanada.ca/activity) sur le côté gauche.

Initier un transfert. Remarquez le fichier mis en évidence dans le volet de gauche (cliquez pour agrandir)

Voir aussi How To Log In and Transfer Files with Globus sur le site Web Globus.org.

Options

Plusieurs autres options se trouvent dans la zone Transfer & Sync Options entre les deux boutons Start du centre de l'écran. Vous pouvez ici demander à Globus de

  • synchroniser, pour transférer des nouveaux fichiers ou des fichiers modifiés;
  • supprimer des fichiers à la destination qui sont inexistants à la source
  • conserver les renseignements quant au moment des modifications de fichiers
  • vérifier l'intégrité des données après un transfert (option sélectionnée par défaut)
  • chiffrer le transfert

Prenez note que la fonction de chiffrement diminue de beaucoup la performance du transfert et ne devrait être utilisée que pour des données sensibles.

Ordinateurs personnels

Globus fournit un client pour utilisation avec un microordinateur sous Windows, MacOS X ou Linux; voyez Globus Connect Personal (en anglais).

La page Globus Connect Personal contient des liens sur la configuration avec les différents systèmes d'exploitation, incluant comment procéder en ligne de commande sous Linux. Si vous utilisez Globus Connect Personal en ligne de commande sous Linux, voyez cette foire aux questions pour connaître les chemins partagés et leurs permissions.

Pour installer Globus Connect Personal

Bouton pour installer (cliquez pour agrandir)
  1. Sur le portail Globus de Calcul Canada, connectez-vous si ce n'est pas déjà fait.
  2. À partir de File Manager, cliquez sur l'icône Endpoints sur le côté gauche.
  3. Cliquez sur le boutonCreate a personal endpoint dans le coin supérieur droit.
  4. Entrez un nom dans Endpoint Display Name; ce nom sera utilisé pour accéder à l'ordinateur sur lequel Globus Connect Personal sera installé, par exemple OrdiMac ou PCTravail.
  5. Cliquez sur le lien de téléchargement pour votre système d'exploitation; vous pourriez avoir besoin de cliquer sur Show me other supported operating systems.
  6. Installez Globus Connect Personal.
  7. Vous devriez maintenant avoir accès au point de chute par Globus. Le nom complet du point de chute [votre nom d'utilisateur]#[nom de l'étape3] par exemple tremblay#PCTravail.

Pour lancer Globus Connect Personal

La procédure ci-dessus doit être suivie une fois seulement pour configurer le point de chute. Par la suite, pour effectuer des transferts, assurez-vous que Globus Connect Personal est en opération, c'est-à-dire lancez l'application et vérifiez que le point de chute n'est pas en pause.

Globus Connect Personal pour un point de chute personnel

Remarque : Le transfert s'arrêtera si l'application Globus Connect Personal est fermée sur votre point de chute au cours d'un transfert en provenance ou à destination de ce point de chute. Pour reprendre le transfert, lancez l'application à nouveau.

Transfert entre deux points de chute personnels

Même s'il est possible de créer des points de chute pour plusieurs ordinateurs personnels, le transfert entre deux points de chute personnels ne se fait pas par défaut. Pour ce type de transfert, contactez globus@calculcanada.ca pour créer un compte Globus Plus.

Pour plus d'information, consultez les pages d'aide Globus, en particulier :

Partage de fichiers avec Globus

Globus sharing facilite la collaboration entre collègues. La fonction de partage permet d'accéder aux fichiers enregistrés sur un système Calcul Canada, même si l'autre utilisateur n'a pas de compte sur ce système. Les fichiers peuvent être partagés par tout utilisateur d'un compte Globus, peu importe où il se trouve. Voir comment partager des données par Globus (en anglais).

Création d’une collection partagée

Pour partager un fichier ou un dossier sur un point de chute, le système qui héberge les fichiers doit autoriser un tel partage.


Le partage est désactivé sur Niagara.

Le partage est désactivé sur Niagara.



Project Permission de partage pour un projet

Pour les grappes autres que Niagara, la ou le chercheur principal doit écrire à globus@computecanada.ca et indiquer

  • que le partage par Globus soit activé;
  • le chemin;
  • la permission (lecture seule ou lecture-écriture).

Les données qui seront partagées devront être copiées ou déplacées dans ce chemin. La création d'un lien symbolique ne permettra pas d'accéder aux données.

Autrement, vous aurez l'erreur suivante :

The backend responded with an error: You do not have permission to create a shared endpoint on the selected path. The administrator of this endpoint has disabled creation of shared endpoints on the selected path.

Le partage est activé pour le répertoire /home. Par défaut, le partage sur /project est désactivé pour éviter que les utilisateurs partagent accidentellement les fichiers des autres. Testez la fonction de partage dans votre répertoire /home.

Nous vous suggérons d'utiliser un chemin dont le nom indique clairement que les fichiers pourraient y être partagés, par exemple

/project/my-project-id/Sharing

Une fois le partage activé pour le chemin, vous pourrez créer un nouveau point de chute Globus partagé pour tout sous-répertoire sous ce chemin. Par exemple, vous pourriez créer les sous-répertoires

/project/my-project-id/Sharing/Subdir-01

et

/project/my-project-id/Sharing/Subdir-02

Créez un Share différent pour chacun et partagez-les avec de différents utilisateurs.

Pour avoir un Share dans /project, écrivez à globus@calculcanada.ca.


Avec vos identifiants Globus, connectez-vous à globus.computecanada.ca. Une fenêtre de transfert sera affichée. Dans le champendpoint, entrez l'identifiant du point de chute que vous voulez partager (par exemple computecanada#beluga-dtn, computecanada#cedar-dtn, computecanada#graham-globus, computecanada#niagara, etc.) et activez le point de chute si on vous le demande.

Sélectionnez un répertoire que vous voulez partager et cliquez sur le bouton Share à la droite de la liste des répertoires.

Option Share (cliquez pour agrandir)

Cliquez sur le bouton Add a Guest Collection dans le coin supérieur droit de l'écran.

Bouton Add a Guest Collection (cliquez pour agrandir)

Entrez un nom qui sera facilement reconnaissable. Vous pouvez aussi indiquer l'endroit à partir duquel se fera le partage avec le bouton Browse.

Point de chute partagé

Gestion des accès

Après création du point de chute, vous verrez la liste actuelle des accès autorisés, qui ne contiendra que votre compte. Le partage s’avérant peu utile sans une seconde personne, cliquez sur le bouton Add Permissions -- Share With afin d’ajouter les personnes ou les groupes avec qui vous voulez partager vos données.

On vous demandera d’indiquer si vous voulez procéder au partage en utilisant une adresse courriel, un nom d’utilisateur ou un groupe.

  • L’adresse courriel est un bon choix si vous ignorez le nom d’utilisateur employé par la personne concernée sur Globus. Elle vous permettra également de partager les données avec des personnes qui ne possèdent pas de compte Globus, même si elles devront en créer un pour accéder aux fichiers partagés.
  • Si vous choisissez le nom d’utilisateur, une fenêtre vous permettra d’effectuer une recherche par nom propre ou par nom d’utilisateur Globus. Cette solution est idéale pour ceux qui possèdent déjà un compte Globus, car ces derniers n’auront rien à faire pour participer au partage. Saisissez le nom de la personne ou le nom d’utilisateur Globus (si vous le connaissez), choisissez le nom correspondant dans la liste puis cliquez sur Use Selected.
  • Le choix group permet de partager le fichier simultanément avec plusieurs personnes. Il est possible d’effectuer une recherche d’après le nom du groupe ou son Identifiant universel unique UUID. Le nom d’un groupe pouvant être ambigu, assurez-vous que le partage s’effectue bien avec le groupe désiré. On évitera ce problème en employant l’UUID du groupe, indiqué à la page Groups (voir la partie Groupes).
Gestion des accès

Pour ajouter ou retrancher un utilisateur de la liste d’autorisations, cochez ou décochez la case près du nom, sous la colonne write. L’accès read ne peut être supprimé.

Envoi d'une invitation de partage

Pour supprimer un utilisateur ou un groupe de la liste de partage, il suffit de cliquer sur le x au bout de la ligne correspondante.

Suppression d’une collection partagée

Lorsque vous n’en aurez plus besoin, vous pouvez supprimer la collection partagée. Pour ce faire, cliquez sur le point de chute et cliquez sur l'onglet Shareable by You.

Cliquez sur le titre de la Shared Collection que vous voulez supprimer. Cliquez ensuite sur Delete Endpoint à la droite et confirmez en cliquant sur le bouton rouge.

Suppression d'un point de chute partagé

Le point de chute est maintenant supprimé. Ceci ne supprime pas vos fichiers ni ceux que d'autres pourraient avoir téléversés.

Sécurité

Partager des fichiers suppose un certain risque. En autorisant le partage, vous permettez à d’autres de consulter des fichiers que vous étiez seul à contrôler jusqu’à présent. Bien que non exhaustive, la liste ci-dessous énumère certains éléments à prendre en considération avant de procéder à un partage.

  • Si vous n’en êtes pas le propriétaire, assurez-vous que vous avez le droit de partager les fichiers.
  • Assurez-vous que vous ne partagez les fichiers qu’avec les bonnes personnes. Vérifiez si la personne que vous ajoutez à la liste est bien celle que vous pensez. Des noms peuvent se ressembler. Rappelez-vous que les noms d’utilisateur Globus n’ont aucun lien avec ceux de Calcul Canada. Nous préconisons la méthode de partage reposant sur l’adresse courriel, à moins que vous ne connaissiez le nom exact du compte.
  • Si le partage s’effectue avec un groupe sur lequel vous n’exercez aucun contrôle, assurez-vous que la personne qui dirige le groupe est digne de confiance. Des personnes non autorisées à consulter vos données pourraient s’y ajouter.
  • Si vous accordez le droit de modifier les données, conservez une copie de sauvegarde des fichiers importants qui ne se trouvent pas sur le point de chute partagé, car il se pourrait que des utilisateurs du point de chute partagé suppriment ou modifient les fichiers, ou en fassent tout ce que vous pourriez en faire personnellement.
  • Nous recommandons vivement que le partage se limite à un répertoire secondaire et ne s’applique pas au répertoire mère.

Groupes Globus

Globus groups permet la gestion des privilèges de partage avec plusieurs utilisateurs. À la création d'un groupe, il peut être utilisé à partir de l'interface de partage pour contrôler l'accès par plusieurs utilisateurs. Voir comment gérer des groupes Globus (en anglais).

Création d’un groupe

Cliquez sur le bouton Groups dans la barre de gauche. Cliquez sur le bouton Create New Group dans le coin supérieur droit. Ceci affiche la fenêtre Create New Group.

Création d'un groupe Globus
  • Entrez le nom du groupe dans le champ Group Name.
  • Entrez la description du groupe dans le champ Group Description.
  • Indiquez si le groupe sera visible uniquement aux yeux de ses membres (groupe privé) ou si tous les utilisateurs de Globus pourront le voir.
  • Cliquez sur Create Group pour ajouter le groupe.

Invitations

Après avoir créé le groupe, vous pouvez y ajouter des utilisateurs en sélectionnant Invite Users puis en ajoutant leur adresse courriel (méthode privilégiée) ou en cherchant leur nom d’utilisateur. Après avoir choisi les utilisateurs qui seront conviés à se joindre au groupe, cliquez sur le bouton Add afin qu’ils reçoivent un message les invitant à se joindre. Lorsqu’ils auront accepté l’invitation, leur nom figurera dans le groupe.

Permissions

Cliquez sur un nom d'utilisateur pour modifier son rôle ou son statut. Les rôles confèrent les permissions Admin (toutes les permissions), Manager (modifier les rôles) et Member (aucune permission de gestion). Cliquez sur Save.

Interface ligne de commande (CLI)

Installation

L'interface ligne de commande Globus est un module python qui s'installe avec pip. Voici la procédure d'installation sur une grappe de Calcul Canada ː

  1. Créez un environnement virtuel pour y installer l'interface (voir Créer et utiliser un environnement virtuel).
    $ virtualenv $HOME/.globus-cli-virtualenv
  2. Activez l'environnement virtuel.
    $ source $HOME/.globus-cli-virtualenv/bin/activate
  3. Installez l'interface (voir Installer des modules).
    $ pip install globus-cli
  4. Désactivez l'environnement virtuel.
    $ deactivate
  5. Pour ne pas avoir à charger l'environnement virtuel à chaque utilisation de Globus, modifiez le chemin.
    $ export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin
    $ echo 'export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin'>>$HOME/.bashrc

La page Globus installation contient des renseignements sur l'installation sur des plateformes différentes, la mise à jour et la désinstallation.

Utilisation

Scripts

Instances (machines virtuelles dans un nuage)

Les points de chute Globus existent pour les grappes (Béluga, Cedar, Graham, Niagara, etc.) mais pas pour les instances infonuagiques. Il nous est impossible de créer un point de chute particulier parce qu'il n'y a pas d'espace de stockage réservé à chaque instance.

Si vous avez besoin d'un point de chute pour votre instance et que vous n'avez pas d'autre mécanisme de transfert, vous pouvez utiliser Globus Connect Personal ou Globus Connect Server.

Globus Connect Personal

Globus Connect Personal est plus facile à installer, à gérer et à passer le coupe-feu, mais est conçu pour être installé sur les ordinateurs personnels.

Installation sur Windows : https://docs.globus.org/how-to/globus-connect-personal-windows/

Installation sur Linux : https://docs.globus.org/how-to/globus-connect-personal-linux/

Globus Connect Server

Globus Connect Server est conçu pour des environnements en ligne de commande et comporte certaines fonctionnalités rarement utilisées, par exemple la possibilité d'ajouter plusieurs serveurs à un point de chute. Quelques ports doivent être ouverts pour permettre les transferts (voir https://docs.globus.org/globus-connect-server/v5/#open-tcp-ports_section).

Soutien technique et renseignements additionnels

Pour en apprendre davantage sur comment Calcul Canada utilise Globus ou si vous avez besoin de soutien technique pour ce service, écrivez à globus@calculcanada.ca en incluant les renseignements suivants :

  • nom
  • identifiant CCRI pour Calcul Canada
  • institution
  • demande ou problème; n'oubliez pas de mentionner les sites de provenance et de destination pour votre transfert