Globus
Globus est un service qui permet le transfert de fichiers de façon rapide, fiable et sécuritaire. Conçue expressément pour les besoins des chercheurs, l'interface utilisateur de Globus comporte des fonctions de suivi en arrière-plan qui automatisent la gestion des transferts de fichiers entre deux supports, qu'il s'agisse des équipements de Calcul Canada ou d'un autre site, d'une grappe localisée sur un campus, d'un serveur de laboratoire, d'un microordinateur ou d'un ordinateur portatif.
Globus utilise le protocole de transfert GridFTP, mais épargne à l’utilisateur les tâches complexes et laborieuses qui s’y associent ainsi que d’autres aspects liés au déplacement des données. Le service améliore la performance des protocoles GridFTP, rsync, scp et sftp par le réglage automatique des paramètres de transfert, le redémarrage automatique lorsqu’il y a interruption du transfert et la vérification de l’intégrité des fichiers.
Vous pouvez accéder au service par le site Web de Globus ou par le portail Globus de Calcul Canada sur https://globus.computecanada.ca.
Les captures d'écran ne montrent pas les écrans de contrôle de la nouvelle interface web de Globus (modification, avril 2019); elles seront mises à jour sous peu. La documentation récente se trouve sur https://docs.globus.org/how-to/.
Utilisation
Rendez-vous sur http://globus.calculcanada.ca. Pour vous connecter, utilisez les coordonnées de votre compte CCDB. Sélectionnez Compute Canada dans la liste déroulante et cliquez sur Continue. Entrez vos coordonnées de compte CCDB dans les champs Username et Password et cliquez sur Sign in; la page MyProxy est affichée. Ceci vous conduit au portail Web pour Globus.
Démarrer un transfert
Les transferts de données se font entre collections (points de chute dans les versions précédentes). Des collections sont déjà définies pour la plupart de nos systèmes. Pour transférer des fichiers en provenance ou à destination de votre ordinateur, vous devez créer une collection. Une fois que cette étape quelque peu exigeante est accomplie, il ne restera qu'à vous assurer que l'application Globus Connect Personal est en opération sur votre ordinateur pour effectuer un transfert. Voir plus bas la section Ordinateurs personnels.
Si la page File Manager du portail Globus n'est pas affichée (voir l'image), sélectionnez-la à partir de la barre de gauche.
Entrez le nom d'un des points de chute dans le champ Endpoint approprié (provenance ou destination). Par exemple, pour la grappe GPC, entrez gpc dans le champ et attendez quelques secondes; une liste des sites correspondants sera affichée, de laquelle vous pouvez sélectionner computecanada#gpc.
Toutes les ressources Calcul Canada comportent le préfixe computecanada#. Par exemple, computecanada#cedar-dtn, computecanada#graham-dtn et computecanada#niagara.
Il faut maintenant valider votre accès (authenticate) au point de chute. La procédure varie légèrement selon le site hôte du point de chute. Par exemple, pour activer le point de chute GPC qui se trouve sur SciNet, indiquez le nom d’utilisateur et le mot de passe que vous utilisez avec SciNet. L'accès à un point de chute de Calcul Canada demeure valide pour une durée d'une semaine (sujet à changement); les points de chute demeurent accessibles en tout temps. En cas de difficulté, vous pouvez vous référer à la documentation du partenaire régional en cause.
Click on the first collection where the page says "-- start here, select a collection --".
You can start typing a collection name to select it. For example, if you want to transfer data to or from the Béluga cluster, type "beluga", wait two seconds for a list of matching sites to appear, and select computecanada#beluga-dtn.
All Compute Canada resources have names prefixed with computecanada#. For example, computecanada#cedar-dtn, computecanada#graham-dtn or computecanada#niagara (note that 'dtn' stands for 'data transfer node').
You may be prompted to "authenticate" the collection, depending on which site is hosting the collection. For example, if you are activating a collection hosted on Graham, you will be asked for your Compute Canada username and password. The authentication of a collection remains valid for some time - typically one week for CC collections while personal collections do not expire.
Entrez le nom de l'autre point de chute et validez aussi votre accès.
Une fois le point de chute activé, la liste de ses répertoires et fichiers est affichée. En parcourant la liste, vous pouvez doublecliquer sur un répertoire et utiliser l'icône pour aller au répertoire parent. Cliquez sur le fichier ou le répertoire que vous voulez transférer. Pour sélectionner plusieurs éléments, maintenez la touche Ctrl enfoncée et cliquez sur les éléments à transférer. Cliquez ensuite sur un des boutons bleus dont la flèche blanche indique la direction du transfert. La tâche de transfert est allouée un numéro unique et débute immédiatement. Un courriel de confirmation vous est envoyé lorsque la tâche de transfert est accomplie. Vous pouvez suivre les transferts en cours et consulter les détails en rapport avec les transferts complétés sous l'onglet Activity du portail Globus.
Voir aussi How To Log In and Transfer Files with Globus sur le site Web Globus.org.
Options
Plusieurs options de paramétrage (Transfer Settings) se trouvent au bas de la page Transfer Files de Globus. Ces options sont :
- sync pour transférer des nouveaux fichiers ou des fichiers modifiés
- delete pour supprimer des fichiers à la destination qui sont inexistants à la source
- preserve pour conserver les renseignements quant au moment des modifications de fichiers
- verify pour vérifier l'intégrité des données après un transfert (option sélectionnée par défaut)
- encrypt pour chiffrer le transfert
Prenez note que la fonction de chiffrement diminue de beaucoup la performance du transfert et ne devrait être utilisée que pour des données sensibles.
Ordinateurs personnels
Globus fournit un client pour utilisation avec un microordinateur sous Windows, MacOS X ou Linux; voyez Globus Connect Personal (en anglais).
There are links on the Globus Connect Personal page which walk you through the setup of globus connect personal on the various operating systems, including setting it up from the commandline on Linux. If you are running Globus Connect Personal from the command line on linux, this FAQ on the Globus site describes configuring which paths you share and their permissions.
Pour installer Globus Connect Personal
- Sur le portail Globus de Calcul Canada connectez-vous à Globus.
- À partir du menu Manage Data, sélectionnez Endpoints et cliquez sur add Globus Connect Personal endpoint.
- Entrez un nom de votre choix pour le point de chute; celui-ci sera utilisé pour vous connecter à l'ordinateur sur lequel Globus Connect Personal sera installé. Par example : OrdiMac ou PCTravail.
- Cliquez sur le bouton Generate Setup Key. Copiez la clé dans votre presse-papier et cliquez sur le lien correspondant à votre système d'exploitation pour effectuer le téléchargement.
- Installez l'application.
- Une fois l'installation complétée, lancez Globus Connect Personal.
- A votre première utilisation, collez le nom de la clé copiée à l'étape 4 dans le champ Setup Key.
- Vous devriez maintenant avoir accès au point de chute par Globus. Le nom complet du point de chute [votre nom d'utilisateur]#[nom de l'étape3] par exemple : smith#PCTravail
Pour lancer Globus Connect Personal
La procédure mentionnée ci-dessus doit être suivie une fois seulement, pour configurer le point de chute. Par la suite, pour effectuer des transferts , assurez-vous que Globus Connect Personal est en opération, c'est-à-dire que l'application a été lancée et que vous avez cliqué sur "Connect."
Remarque : Le transfert s'arrêtera si l'application Globus Connect Personal est fermée sur votre point de chute au cours d'un transfert en provenance ou à destination de ce point de chute. Pour reprendre le transfert, lancez l'application à nouveau.
Transfert entre deux points de chute personnels
Même s'il est possible de créer des points de chute pour plusieurs microordinateurs, le transfert entre deux points de chute personnels ne se fait pas par défaut. Pour ce type de transfert, contactez globus@calculcanada.ca pour créer un compte "Globus Plus".
Pour plus d'information, consultez les pages d'aide Globus, en particulier :
- Globus Connect Personal pour Mac OS X
- Globus Connect Personal pour Windows
- Globus Connect Personal pour Linux
Partage de fichiers avec Globus
Globus sharing facilite la collaboration entre collègues. La fonction de partage permet d'accéder aux fichiers enregistrés sur un système Calcul Canada, même si l'autre utilisateur n'a pas de compte sur ce système. Les fichiers peuvent être partagés par tout utilisateur d'un compte Globus, peu importe où il se trouve. Voir comment partager des données par Globus (en anglais).
Création d’un point de chute commun
Pour partager un fichier ou un dossier sur un point de chute, le système qui héberge les fichiers doit autoriser un tel partage. Tous les points de chute de Calcul Canada acceptent le partage ou l’accepteront bientôt.
Ouvrez une session sur globus.calculcanada.ca avec les justificatifs d’identité de Globus. Lorsque la connexion est établie, une fenêtre de transfert apparaîtra sur l’écran. Dans le champ « endpoint » (point de chute), saisissez l’identifiant qui correspond au point de terminaison où se trouvent les fichiers à partager (par ex., calculcanada#gpc) et activez-le, si on vous le demande.
Sélectionnez l’élément que vous souhaitez partager puis cliquez les trois traits horizontaux à droite, dans la fenêtre du point de chute pour accéder au menu. Ensuite, sélectionnez « share » (partager).
Après avoir sélectionné « share », vous verrez une fenêtre énumérant les points de chute partagés, s’il y en a, et un bouton étiqueté « Add Shared Endpoint » (ajouter un point de chute partagé). En cliquant ce bouton, vous ouvrirez la fenêtre « Create New Shared Endpoint » (créer un nouveau point de chute partagé). Les valeurs des choix antérieurs apparaissent par défaut dans la fenêtre. Modifiez-les s’il le faut puis cliquez le bouton « Create and Manage Access » (créer et gérer les accès).
Gestion des accès
Après création du point de chute, vous verrez la liste actuelle des accès autorisés, qui ne contiendra que votre compte. Le partage s’avérant peu utile sans une seconde personne, cliquez le bouton « Add Permission » (ajouter autorisation) afin d’ajouter les gens ou les groupes avec qui vous aimeriez partager vos données.
On vous demandera d’indiquer si vous voulez procéder au partage en utilisant une adresse courriel, un nom d’utilisateur ou un groupe.
- L’adresse courriel est un bon choix si vous ignorez le nom d’utilisateur employé par la personne concernée sur Globus. Elle vous permettra également de partager les données avec des personnes qui ne possèdent pas de compte Globus, même si elles devront en créer un pour accéder aux fichiers partagés.
- Si vous choisissez le nom d’utilisateur, une fenêtre vous permettra d’effectuer une recherche par nom propre ou par nom d’utilisateur Globus. Cette solution est la solution idéale pour ceux qui possèdent déjà un compte Globus, car ces derniers n’auront rien à faire pour participer au partage. Saisissez le nom de la personne ou le nom d’utilisateur Globus (si vous le connaissez), choisissez le nom correspondant dans la liste puis cliquez « Use Selected » (utiliser le nom sélectionné).
- Le choix « groupe » permet de partager le fichier simultanément avec plusieurs personnes. Il est possible d’effectuer une recherche d’après le nom du groupe ou son Identifiant universel unique UUID. Le nom d’un groupe pouvant être ambigu, assurez-vous que le partage s’effectue bien avec le groupe désiré. On évitera ce problème en employant l’UUID du groupe, indiqué à la page « Groups » (groupes) (voir la partie Groupes).
Pour ajouter ou retrancher un utilisateur de la liste d’autorisations, cochez ou décochez la case près du nom, sous la colonne « write » (rédaction). L’accès « read » (lecture) ne peut être supprimé.
Pour supprimer un utilisateur ou un groupe de la liste de partage, il suffit de cliquer le « x » au bout de la ligne correspondante.
Suppression d’un point de chute partagé
Lorsque vous n’en aurez plus besoin, supprimez le point de chute partagé. Pour cela, allez au sommet de la page et sélectionnez « Manage Endpoints » (gérer les points de chute) dans le menu « Manage Data » (gérer les données).
Vous verrez une liste des points de chute que vous avez créés, y compris les points de chute Globus Connect Personal ou les points de chute partagé et ceux que vous avez utilisés récemment. Trouvez celui que vous voulez supprimer dans la liste et développez-le. Ensuite, cliquez le bouton « delete endpoint » (supprimer le point de chute) et confirmez l’opération quand l’ordinateur le demande.
Le point de chute est supprimé. Vos fichiers ne seront pas affectés par cette opération, pas plus que les fichiers des autres personnes que vous pourriez avoir téléchargés.
Sécurité
Partager des fichiers suppose un certain risque. En autorisant le partage, vous permettez à d’autres de consulter des fichiers que vous étiez seul à contrôler jusqu’à présent. Bien que non exhaustive, la liste ci-dessous énumère certains éléments à prendre en considération avant de procéder à un partage.
- Si vous n’en êtes pas le propriétaire, assurez-vous que vous avez le droit de partager les fichiers.
- Assurez-vous que vous ne partagez les fichiers qu’avec les bonnes personnes. Vérifiez si la personne que vous ajoutez à la liste est bien celle que vous pensez. Des noms peuvent se ressembler. Rappelez-vous que les noms d’utilisateur Globus n’ont aucun lien avec ceux de Calcul Canada. Nous préconisons la méthode de partage reposant sur l’adresse courriel, à moins que vous ne connaissiez le nom exact du compte.
- Si le partage s’effectue avec un groupe sur lequel vous n’exercez aucun contrôle, assurez-vous que la personne qui dirige le groupe est digne de confiance. Des personnes non autorisées à consulter vos données pourraient s’y ajouter.
- Si vous accordez le droit de modifier les données, conservez une copie de sauvegarde des fichiers importants qui ne se trouvent pas sur le point de chute partagé, car il se pourrait que des utilisateurs du point de chute partagé suppriment ou modifient les fichiers, ou en fassent tout ce que vous pourriez en faire personnellement.
- Nous recommandons vivement que le partage se limite à un répertoire secondaire et ne s’applique pas au répertoire mère.
Groupes Globus
Globus groups permet la gestion des privilèges de partage avec plusieurs utilisateurs. À la création d'un groupe, il peut être utilisé à partir de l'interface de partage pour contrôler l'accès par plusieurs utilisateurs. Voir comment gérer des groupes Globus (en anglais).
Création d’un groupe
Allez à l’onglet « Groups » (groupes) au sommet de la page. Sur l’onglet « My Groups » (mes groupes), vous verrez le bouton « Create New Group » (créer un groupe) au bas de la page. Ce bouton affiche la fenêtre « Create New Group » (créer un groupe)
- Donnez une description du groupe dans le champ correspondant (« Group Description »).
- Indiquez si le groupe sera visible uniquement aux yeux de ses membres (groupe privé) ou si tous les utilisateurs de Globus pourront le voir.
- Cliquez « Create Group » (créer) pour ajouter le groupe.
Invitations
Après avoir créé le groupe, vous pouvez y ajouter des utilisateurs en sélectionnant « Invite Users » (inviter des utilisateurs) puis en ajoutant leur adresse courriel (méthode privilégiée) ou en cherchant leur nom d’utilisateur. Après avoir choisi les utilisateurs qui seront conviés à se joindre au groupe, cliquez le bouton « Invite » (inviter) afin qu’ils reçoivent un message les invitant à établir la connexion. Lorsqu’ils auront accepté l’invitation, leur nom figurera dans le groupe.
Modification d’un groupe
Cliquez l’icône en forme de crayon à côté de l’utilisateur pour modifier son adhésion. Le premier onglet donne les informations sur le membre (nom d’utilisateur, adresse courriel, nom). L’onglet « Role & Status » (rôle et état) permet de modifier son statut (actif, suspendu, supprimé), ce qui modifiera la composition du groupe.
Le rôle permet d’accorder des permissions à l’utilisateur. Parmi eux, mentionnons l’administrateur (accès total), le gestionnaire (il peut modifier le rôle des utilisateurs) et le simple membre (aucune fonction de gestion). Le bouton « Save Changes » (enregistrer les changements) permet de sauvegarder ces modifications.
Paramètres du groupe
- Onglet « Policies » (politiques)
- Il indique les politiques existantes.
- Pour modifier celles-ci, cliquer le bouton « Edit » (modifier).
- Contraintes d’adhésion
- Il est possible de solliciter des renseignements supplémentaires sur un utilisateur qui souhaite se joindre au groupe. Les choix sont tirés d’une liste préétablie.
- Onglet « Advanced » (avancé)
- Il permet de supprimer le groupe.
Interface ligne de commande (CLI)
Installation
L'interface ligne de commande Globus est un module python qui s'installe avec pip. Voici la procédure d'installation sur une grappe de Calcul Canada ː
- Créez un environnement virtuel pour y installer l'interface (voir Créer et utiliser un environnement virtuel).
$ virtualenv $HOME/.globus-cli-virtualenv
- Activez l'environnement virtuel.
$ source $HOME/.globus-cli-virtualenv/bin/activate
- Installez l'interface (voir Installer des modules).
$ pip install globus-cli - Désactivez l'environnement virtuel.
$ deactivate - Pour ne pas avoir à charger l'environnement virtuel à chaque utilisation de Globus, modifiez le chemin.
$ export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin $ echo 'export PATH=$PATH:$HOME/.globus-cli-virtualenv/bin'>>$HOME/.bashrc
La page Globus installation contient des renseignements sur l'installation sur des plateformes différentes, la mise à jour et la désinstallation.
Utilisation
- Consultez la page Globus Command Line Interface (CLI) documentation.
- La page Globus Hosted Command Line Interface (Legacy) documentation décrit l'authentification avec clés SSH plutôt que via le web.
Scripts
- Pour des renseignements sur l'API Python, consultez Globus SDK for Python.
Soutien technique et renseignements additionnels
Pour en apprendre davantage sur comment Calcul Canada utilise Globus ou si vous avez besoin de soutien technique pour ce service, écrivez à globus@calculcanada.ca en incluant les renseignements suivants :
- nom
- identifiant CCRI pour Calcul Canada
- institution
- demande ou problème; n'oubliez pas de mentionner les sites de provenance et de destination pour votre transfert