Globus

Other languages:

English
français

Globus est un service qui permet le transfert de fichiers de façon rapide, fiable et sécuritaire. Conçue expressément pour les besoins des chercheurs, l'interface utilisateur de Globus comporte des fonctions de suivi en arrière-plan qui automatisent la gestion des transferts de fichiers entre deux supports, qu'il s'agisse des équipements de Calcul Canada ou d'un autre site, d'une grappe localisée sur un campus, d'un serveur de laboratoire, d'un microordinateur ou d'un ordinateur portatif.

Globus utilise le protocole de transfert GridFTP, mais épargne à l’utilisateur les tâches complexes et laborieuses qui s’y associent ainsi que d’autres aspects liés au déplacement des données. Le service améliore la performance des protocoles GridFTP, rsync, scp et sftp par le réglage automatique les paramètres de transfert, le redémarrage automatique lorsqu’il y a interruption du transfert et la vérification de l’intégrité des fichiers.

Vous pouvez accéder au service par le site Web de Globus ou par le portail Globus de Calcul Canada sur https://globus.calculcanada.ca.

Utilisation de Globus

Rendez-vous sur http://globus.computecanada.ca. Pour vous connecter, utilisez les coordonnées de votre compte CCDB. Sélectionnez Compute Canada dans la liste déroulante et cliquez sur Continue. Entrez vos coordonnées de compte CCDB dans les champs Username et Password et cliquez sur Sign in; la page MyProxy est affichée. Ceci vous conduit au portail Web pour Globus.

Authentification Globus (cliquez pour agrandir)

Effectuer un transfert

Choisir un point de chute de Globus (cliquez pour agrandir)

Les transferts de données se font entre points de chute (endpoints). Des points de chute sont déjà définis pour la plupart des systèmes de Calcul Canada. Pour transférer des fichiers en provenance ou à destination de votre ordinateur, vous devez créer un point de chute. Une fois que cette étape quelque peu exigeante est accomplie, il ne restera qu'à vous assurer que l'application des points de chute est en opération sur votre ordinateur pour effectuer un transfert. Voir plus bas la section Ordinateurs personnels.

Si la page Transfer Files n'est ps affichée sur le portail Globus (voir l'image), sélectionnez-la à partir du menu Manage Data.

Entrez le nom d'un des points de chute dans le champ Endpoint approprié (provenance ou destination). Par exemple, pour la grappe GPC, entrez gpc dans le champ et attendez quelques secondes; une liste des sites correspondants sera affichée, de laquelle vous pouvez sélectionner computecanada#gpc. Toutes les ressources Calcul Canada comportent le préfixe computecanada#. Par exemple, computecanada#cedar-dtn, computecanada#graham-dtn et computecanada#niagara.

Il faut maintenant valider votre accès (authenticate) au point de chute. La procédure varie légèrement selon le site hôte du point de chute. Par exemple, pour activer le point de chute GPC qui se trouve sur SciNet, indiquez le nom d’utilisateur et le mot de passe que vous utilisez avec SciNet. L'accès à un point de chute de Calcul Canada demeure valide pour une durée d'une semaine (sujet à changement); les points de chute demeurent accessibles en tout temps. En cas de difficulté, vous pouvez vous référer à la documentation du partenaire régional en cause.

Entrez le nom de l'autre point de chute et validez aussi votre accès.

Effectuer un transfert (cliquez pour agrandir)
Remarque : Dans la section de droite, certains fichiers sont mis en évidence.

Une fois le point de chute activé, la liste de ses répertoires et fichiers est affichée. En parcourant la liste, vous pouvez doublecliquer sur un répertoire et utiliser l'icône pour aller au répertoire parent. Cliquez sur le fichier ou le répertoire que vous voulez transférer. Pour sélectionner plusieurs éléments, maintenez la touche Ctrl enfoncée et cliquez sur les éléments à transférer. Cliquez ensuite sur un des boutons bleus dont la flèche blanche indique la direction du transfert. La tâche de transfert est allouée un numéro unique et débute immédiatement. Un courriel de confirmation vous est envoyé lorsque la tâche de transfert est accomplie. Vous pouvez suivre les transferts en cours et consulter les détails en rapport avec les transferts complétés sous l'onglet Activity du portail Globus.

Voir aussi How To Log In and Transfer Files with Globus sur le site Web Globus.org.

Options

Plusieurs options de paramétrage (Transfer Settings) se trouvent au bas de la page Transfer Files de Globus. Ces options sont :

sync pour transférer des nouveaux fichiers ou des fichiers modifiés
delete pour supprimer des fichiers à la destination qui sont inexistants à la source
preserve pour conserver les renseignements quant au moment des modifications de fichiers
verify pour vérifier l'intégrité des données après un transfert (option sélectionnée par défaut)
encrypt pour chiffrer le transfert

Prenez note que la fonction de chiffrement diminue de beaucoup la performance du transfert et ne devrait être utilisée que pour des données sensibles.

Ordinateurs personnels

Globus fournit un client pour utilisation avec un microordinateur sous Windows, MacOS X ou Linux; voyez Globus Connect Personal (en anglais).

Pour des renseignements sur comment configurer Globus Connect Personal sur une instance Linux Ubuntu, consultez https://computecanada.github.io/DHSI-cloud-course/globus/.

Pour installer Globus Connect Personal

Sur le portail Globus de Calcul Canada connectez-vous à Globus.
À partir du menu Manage Data, sélectionnez Endpoints et cliquez sur add Globus Connect Personal endpoint.
Entrez un nom de votre choix pour le point de chute; celui-ci sera utilisé pour vous connecter à l'ordinateur sur lequel Globus Connect Personal sera installé. Par example : OrdiMac ou PCTravail.
Cliquez sur le bouton Generate Setup Key. Copiez la clé dans votre presse-papier et cliquez sur le lien correspondant à votre système d'exploitation pour effectuer le téléchargement.
Installez l'application.
Une fois l'installation complétée, lancez Globus Connect Personal.
A votre première utilisation, collez le nom de la clé copiée à l'étape 4 dans le champ Setup Key.
Vous devriez maintenant avoir accès au point de chute par Globus. Le nom complet du point de chute [votre nom d'utilisateur]#[nom de l'étape3] par exemple : smith#PCTravail

Pour lancer Globus Connect Personal

Globus Connect Personal pour point de chute personnel

La procédure mentionnée ci-dessus doit être suivie une fois seulement, pour configurer le point de chute. Par la suite, pour effectuer des transferts , assurez-vous que Globus Connect Personal est en opération, c'est-à-dire que l'application a été lancée et que vous avez cliqué sur "Connect."

Remarque : Le transfert s'arrêtera si l'application Globus Connect Personal est fermée sur votre point de chute au cours d'un transfert en provenance ou à destination de ce point de chute. Pour reprendre le transfert, lancez l'application à nouveau et cliquez sur Connect.

Transfert entre deux points de chute personnels

Même s'il est possible de créer des points de chute pour plusieurs microordinateurs, le transfert entre deux points de chute personnels ne se fait pas par défaut. Pour ce type de transfert, contactez globus@computecanada.ca pour créer un compte "Globus Plus".

Pour plus d'information, consultez les pages d'aide Globus, en particulier :

Partage de fichiers avec Globus

Globus sharing facilite la collaboration entre collègues. La fonction de partage permet d'accéder aux fichiers enregistrés sur un système Calcul Canada, même si l'autre utilisateur n'a pas de compte sur ce système. Les fichiers peuvent être partagés par tout utilisateur d'un compte Globus, peu importe où il se trouve. Voir comment partager des données par Globus (en anglais).

Création d’un point de chute commun

Pour partager un fichier ou un dossier sur un point de chute, le système qui héberge les fichiers doit autoriser un tel partage. Tous les points de chute de Calcul Canada acceptent le partage ou l’accepteront bientôt.

Ouvrez une session sur globus.computecanada.ca avec les justificatifs d’identité de Globus. Lorsque la connexion est établie, une fenêtre de transfert apparaîtra sur l’écran. Dans le champ « endpoint » (point de chute), saisissez l’identifiant qui correspond au point de terminaison où se trouvent les fichiers à partager (par ex., computecanada#gpc) et activez-le, si on vous le demande.

Création d'un point de chute commun (cliquez pour agrandir)

Sélectionnez l’élément que vous souhaitez partager puis cliquez les trois traits horizontaux à droite, dans la fenêtre du point de chute pour accéder au menu. Ensuite, sélectionnez « share » (partager).

Sélection de l'option « share »

Après avoir sélectionné « share », vous verrez une fenêtre énumérant les points de chute partagés, s’il y en a, et un bouton étiqueté « Add Shared Endpoint » (ajouter un point de chute partagé). En cliquant ce bouton, vous ouvrirez la fenêtre « Create New Shared Endpoint » (créer un nouveau point de chute partagé). Les valeurs des choix antérieurs apparaissent par défaut dans la fenêtre. Modifiez-les s’il le faut puis cliquez le bouton « Create and Manage Access » (créer et gérer les accès).

Gestion d'un point de chute partagé

Gestion des accès

Après création du point de chute, vous verrez la liste actuelle des accès autorisés, qui ne contiendra que votre compte. Le partage s’avérant peu utile sans une seconde personne, cliquez le bouton « Add Permission » (ajouter autorisation) afin d’ajouter les gens ou les groupes avec qui vous aimeriez partager vos données.

On vous demandera d’indiquer si vous voulez procéder au partage en utilisant une adresse courriel, un nom d’utilisateur ou un groupe.

L’adresse courriel est un bon choix si vous ignorez le nom d’utilisateur employé par la personne concernée sur Globus. Elle vous permettra également de partager les données avec des personnes qui ne possèdent pas de compte Globus, même si elles devront en créer un pour accéder aux fichiers partagés.
Si vous choisissez le nom d’utilisateur, une fenêtre vous permettra d’effectuer une recherche par nom propre ou par nom d’utilisateur Globus. Cette solution est la solution idéale pour ceux qui possèdent déjà un compte Globus, car ces derniers n’auront rien à faire pour participer au partage. Saisissez le nom de la personne ou le nom d’utilisateur Globus (si vous le connaissez), choisissez le nom correspondant dans la liste puis cliquez « Use Selected » (utiliser le nom sélectionné).
Le choix « groupe » permet de partager le fichier simultanément avec plusieurs personnes. Il est possible d’effectuer une recherche d’après le nom du groupe ou son Identifiant universel unique UUID. Le nom d’un groupe pouvant être ambigu, assurez-vous que le partage s’effectue bien avec le groupe désiré. On évitera ce problème en employant l’UUID du groupe, indiqué à la page « Groups » (groupes) (voir la partie Groupes).

Gestion des accès

Pour ajouter ou retrancher un utilisateur de la liste d’autorisations, cochez ou décochez la case près du nom, sous la colonne « write » (rédaction). L’accès « read » (lecture) ne peut être supprimé.

Pour supprimer un utilisateur ou un groupe de la liste de partage, il suffit de cliquer le « x » au bout de la ligne correspondante.

Suppression d’un point de chute partagé

Lorsque vous n’en aurez plus besoin, supprimez le point de chute partagé. Pour cela, allez au sommet de la page et sélectionnez « Manage Endpoints » (gérer les points de chute) dans le menu « Manage Data » (gérer les données).

Vous verrez une liste des points de chute que vous avez créés, y compris les points de chute Globus Connect Personal ou les points de chute partagé et ceux que vous avez utilisés récemment. Trouvez celui que vous voulez supprimer dans la liste et développez-le. Ensuite, cliquez le bouton « delete endpoint » (supprimer le point de chute) et confirmez l’opération quand l’ordinateur le demande.

Suppression d'un point de chute partagé

Le point de chute est supprimé. Vos fichiers ne seront pas affectés par cette opération, pas plus que les fichiers des autres personnes que vous pourriez avoir téléchargés.

Sécurité

Partager des fichiers suppose un certain risque. En autorisant le partage, vous permettez à d’autres de consulter des fichiers que vous étiez seul à contrôler jusqu’à présent. Bien que non exhaustive, la liste ci-dessous énumère certains éléments à prendre en considération avant de procéder à un partage.

Si vous n’en êtes pas le propriétaire, assurez-vous que vous avez le droit de partager les fichiers.
Assurez-vous que vous ne partagez les fichiers qu’avec les bonnes personnes. Vérifiez si la personne que vous ajoutez à la liste est bien celle que vous pensez. Des noms peuvent se ressembler. Rappelez-vous que les noms d’utilisateur Globus n’ont aucun lien avec ceux de Calcul Canada. Nous préconisons la méthode de partage reposant sur l’adresse courriel, à moins que vous ne connaissiez le nom exact du compte.
Si le partage s’effectue avec un groupe sur lequel vous n’exercez aucun contrôle, assurez-vous que la personne qui dirige le groupe est digne de confiance. Des personnes non autorisées à consulter vos données pourraient s’y ajouter.
Si vous accordez le droit de modifier les données, conservez une copie de sauvegarde des fichiers importants qui ne se trouvent pas sur le point de chute partagé, car il se pourrait que des utilisateurs du point de chute partagé suppriment ou modifient les fichiers, ou en fassent tout ce que vous pourriez en faire personnellement.
Nous recommandons vivement que le partage se limite à un répertoire secondaire et ne s’applique pas au répertoire mère.

Groupes Globus

Globus groups permet la gestion des privilèges de partage avec plusieurs utilisateurs. À la création d'un groupe, il peut être utilisé à partir de l'interface de partage pour contrôler l'accès par plusieurs utilisateurs. Voir comment gérer des groupes Globus (en anglais).

Création d’un groupe

Allez à l’onglet « Groups » (groupes) au sommet de la page. Sur l’onglet « My Groups » (mes groupes), vous verrez le bouton « Create New Group » (créer un groupe) au bas de la page. Ce bouton affiche la fenêtre « Create New Group » (créer un groupe)

Création d'un groupe Globus

Donnez une description du groupe dans le champ correspondant (« Group Description »).
Indiquez si le groupe sera visible uniquement aux yeux de ses membres (groupe privé) ou si tous les utilisateurs de Globus pourront le voir.
Cliquez « Create Group » (créer) pour ajouter le groupe.

Invitations

Après avoir créé le groupe, vous pouvez y ajouter des utilisateurs en sélectionnant « Invite Users » (inviter des utilisateurs) puis en ajoutant leur adresse courriel (méthode privilégiée) ou en cherchant leur nom d’utilisateur. Après avoir choisi les utilisateurs qui seront conviés à se joindre au groupe, cliquez le bouton « Invite » (inviter) afin qu’ils reçoivent un message les invitant à établir la connexion. Lorsqu’ils auront accepté l’invitation, leur nom figurera dans le groupe.

Modification d’un groupe

Cliquez l’icône en forme de crayon à côté de l’utilisateur pour modifier son adhésion. Le premier onglet donne les informations sur le membre (nom d’utilisateur, adresse courriel, nom). L’onglet « Role & Status » (rôle et état) permet de modifier son statut (actif, suspendu, supprimé), ce qui modifiera la composition du groupe.

Le rôle permet d’accorder des permissions à l’utilisateur. Parmi eux, mentionnons l’administrateur (accès total), le gestionnaire (il peut modifier le rôle des utilisateurs) et le simple membre (aucune fonction de gestion). Le bouton « Save Changes » (enregistrer les changements) permet de sauvegarder ces modifications.

Paramètres du groupe

Onglet « Policies » (politiques)
- Il indique les politiques existantes.
- Pour modifier celles-ci, cliquer le bouton « Edit » (modifier).
Contraintes d’adhésion
- Il est possible de solliciter des renseignements supplémentaires sur un utilisateur qui souhaite se joindre au groupe. Les choix sont tirés d’une liste préétablie.
Onglet « Advanced » (avancé)
- Il permet de supprimer le groupe.

Interface ligne de commande (CLI)

Installation

L'interface ligne de commande Globus est un module python qui s'installe avec pip. Voici la procédure d'installation sur une grappe de Calcul Canada ː

Créez un environnement virtuel pour y installer l'interface (voir Créer et utiliser un environnement virtuel).
```
$ virtualenv $HOME/.globus-cli-virtualenv
```

Activez l'environnement virtuel.

$ source $HOME/.globus-cli-virtualenv/bin/activate

Installez l'interface (voir Installer des modules).
```
$ pip install globus-cli
```
Désactivez l'environnement virtuel.
```
$ deactivate
```

Pour ne pas avoir à charger l'environnement virtuel à chaque utilisation de Globus, modifiez le chemin.

$ export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin
$ echo 'export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin'>>$HOME/.bashrc

La page Globus installation contient des renseignements sur l'installation sur des plateformes différentes, la mise à jour et la désinstallation.

Utilisation

Consultez la page Globus Command Line Interface (CLI) documentation.
La page Globus Hosted Command Line Interface (Legacy) documentation décrit l'authentification avec clés SSH plutôt que via le web.

Scripts

Pour des renseignements sur l'API Python, consultez Globus SDK for Python.

Soutien technique et renseignements additionnels

Pour en apprendre davantage sur comment Calcul Canada utilise Globus ou si vous avez besoin de soutien technique pour ce service, écrivez à globus@computecanada.ca en incluant les renseignements suivants :

nom
identifiant CCRI pour Calcul Canada
institution
demande ou problème; n'oubliez pas de mentionner les sites de provenance et de destination pour votre transfert