Partage de données
Page enfant de Storage and file management
Il arrive fréquemment de devoir partager ses données avec un collègue ou avec un autre groupe de recherche. Les grappes de Calcul Canada offrent tous les moyens pour ce faire.
Pour partager des données avec un membre d'un groupe de recherche dont vous faites partie, la meilleure approche est d'utiliser l'espace projet disponible aux membres du groupe. Si vous devez créer un groupe qui utilisera une des grappes nationales, communiquez avec le soutien technique, car les utilisateurs ne peuvent créer leur propres groupes.
Pour partager des données avec une personne qui ne détient pas de compte sur la grappe que vous utiliserez, vous pouvez créer un point de chute commun dans Globus.
Pour partager des données avec un autre utilisateur qui détient un compte sur la même grappe, mais qui ne fait pas partie du même groupe, le moyen le plus simple est de vous servir des permissions du système de fichiers en question, ce qui est ici le sujet principal.
La personne avec laquelle vous voulez partager vos données doit pouvoir accéder à tous les répertoires à partir des espaces /scratch ou /project, jusqu'au répertoire qui contient le fichier. Pour avoir accès, par exemple, à un document placé dans un coffre-fort situé dans une pièce de votre appartement, il ne suffit pas de me fournir la combinaison pour ouvrir le coffre-fort; je dois aussi pouvoir entrer dans l'édifice, puis dans votre appartement, puis dans la pièce où se trouve le coffre-fort. Dans le contexte d'un système de fichiers, ceci signifie accorder à l'autre utilisateur une permission d'exécution à tous les répertoires entre le répertoire racine (par exemple /scratch ou /project) et le répertoire qui contient le fichier en question.
Permissions des systèmes de fichiers
À l'instar de la plupart des systèmes de fichiers modernes, ceux des grappes de Calcul Canada possèdent des fonctionnalités permettant de lire, écrire et exécuter des fichiers et des répertoires. Quand un utilisateur essaie avec la commande cd de lire, modifier ou supprimer un fichier ou encore obtenir l'accès à un répertoire, le noyau Linux (le kernel) vérifie d'abord les permissions. Si l'action est impossible, un message annonce que la permission n’est pas accordée. Il existe trois catégories d'utilisateurs pour les objets fichiers ou répertoires d'un système de fichiers :
- le propriétaire de l'objet, habituellement l'utilisateur ayant créé cet objet
- les membres du groupe de l'objet, habituellement les mêmes que les membres du groupe par défaut du propriétaire
- tous les autres
À chacune de ces catégories d'utilisateurs peuvent être associées les permissions de lecture, d'écriture et d'exécution de l'objet. Avec trois catégories d'utilisateurs et trois types de permissions, il y a donc une possibilité de neuf permissions pouvant être associées à chaque objet.
Pour connaitre les permissions associées à un objet, utilisez
[name@server ~]$ ls -l name_of_object
Le résultat en sortie indique les permissions associées au propriétaire, au groupe et aux autres. Par exemple, ‑rw‑r‑‑r‑‑ permet au propriétaire seulement la lecture et l'écriture (read et write); la lecture est permise aux membres du groupe et à tous les autres utilisateurs. Le résultat montre aussi le nom du propriétaire de l'objet et le groupe.
Pour modifier les permissions associées à un fichier ou à un répertoire, utilisez la commande chmod suivie de la catégorie d'utilisateur puis du signe plus (+) ou moins (-) pour soit allouer ou retirer la permission, et enfin, la nature de la permission, soit lire (r) pour read, écrire (w) pour write ou exécuter (x) pour execute. Les catégories d'utilisateur sont u (user) pour le propriétaire, g pour le groupe et o (others) pour tous les autres utilisateurs de la grappe. Ainsi, la commande
[name@server ~]$ chmod g+r file.txt
accorde la permission de lecture à tous les membres du groupe auquel appartient le fichier file.txt, alors que la commande
[name@server ~]$ chmod o-x script.py
retire la permission d'exécuter le fichier script.py à tous, à l'exception du propriétaire et du groupe. On utilise la catégorie d'utilisateur a pour signifier tous (all); ainsi
[name@server ~]$ chmod a+r file.txt
indique que tous les utilisateurs de la grappe peuvent lire le fichier file.txt.
Pour ce qui est des permissions sous Unix, plusieurs utilisent la notation octale, même si cette dernière est moins intuitive. Les permissions pour une catégorie d'utilisateur sont représentées par trois bits qui sont interprétés comme un chiffre de 0 à 7 avec la formule (read_bit)*4 + (write_bit)*2 + (execute_bit)*1. Dans notre exemple, la représentation octale serait 4+2+0 = 6 pour le propriétaire et 4+0+0 = 4 pour le groupe et les autres, soit la valeur 644.
Notez que pour bénéficier de vos permissions reliées à un fichier, vous devez avoir accès au répertoire qui contient ce fichier; vous devrez donc avoir les permissions en lecture et en exécution (5 et 7 en notation octale) pour ce répertoire.
Pour modifier les permissions, utilisez la commande chmod avec la notation octale mentionnée plus haut; par exemple,
[name@server ~]$ chmod 777 name_of_file
accorde à tous les utilisateurs de la grappe les permissions d'écriture, de lecture et d'exécution. Bien entendu, vous pouvez seulement modifier les permissions associées à un fichier ou à un répertoire dont vous êtes propriétaire. Pour modifier le groupe, utilisez la commande chgrp.
Protection sticky bit
Comme c'est souvent le cas lorsqu'un professeur travaille avec plusieurs étudiants et collaborateurs, l'espace projet se trouve dans un répertoire partagé par plusieurs utilisateurs qui ont des permissions de lecture, d'écriture ou d'exécution : il faut donc s'assurer que les fichiers et les répertoires ne puissent être supprimés par un autre utilisateur que leur propriétaire. Le système de fichiers sous Unix comporte la fonctionnalité sticky bit qui empêche qu'un fichier soit supprimé ou renommé par un autre utilisateur que le propriétaire du fichier ou du répertoire. Sans ce sticky bit, les utilisateurs qui ont des permissions de lecture et d'écriture pour un répertoire peuvent renommer ou supprimer tous les fichiers du répertoire, même s'ils n'en sont pas les propriétaires.
Pour positionner les permissions rwxrwxr-- et le stickly bit sur un répertoire, utilisez la commande chmod ainsi
[name@server ~]$ chmod +t <directory name>
ou en notation octale avec le mode 1000, ainsi
[name@server ~]$ chmod 1774 <directory name>
Dans ls -l, le sticky bit est représenté par la lettre t (ou T), à la fin du champ des permissions, comme suit
$ ls -ld directory drwxrws--T 2 someuser def-someuser 4096 Sep 25 11:25 directory
Il est désactivé par la commande
[name@server ~]$ chmod -t <directory name>
ou en octal,
[name@server ~]$ chmod 0774 <directory name>
Pour l'espace projet, le propriétaire du répertoire est le chercheur principal qui parraine les étudiants et les collaborateurs.
Définition de l'ID du groupe (SGID)
Lorsque des fichiers et des répertoires sont créés dans un répertoire parent, il est très utile dans certains cas de pouvoir associer automatiquement le propriétaire ou le groupe de ces nouveaux fichiers et répertoires au répertoire parent ou au groupe auquel ils sont reliés. Ceci est très important au fonctionnement des fichiers de système des espaces projet de Cedar et Graham par exemple, puisque les quotas de stockage sont comptabilisés par groupe.
Avec la permission SGID (Set Group ID) donnée à un répertoire, les nouveaux fichiers et sous-répertoires créés sous celui-ci héritent du propriétaire du groupe auquel le répertoire est associé. Voyons un exemple.
Vérifiez d'abord quels sont les groupes auxquels someuser appartient avec la commande
[someuser@server]$ groups
someuser def-someuser
someuser appartient à deux groupes : someuser et def-someuser. Dans le répertoire actif, il y a un répertoire qui appartient au groupe def-someuser.
[someuser@server]$ ls -l
drwxrwx--- 2 someuser def-someuser 4096 Oct 13 19:39 testDir
Si nous créons un fichier dans ce répertoire, nous voyons qu'il appartient à someuser, groupe par défaut de someuser.
[someuser@server]$ touch dirTest/test01.txt
[someuser@server]$ ls -l dirTest/
-rw-rw-r-- 1 someuser someuser 0 Oct 13 19:38 test01.txt
Nous ne voulons probablement pas nous trouver dans /project, mais nous voulons qu'un fichier nouvellement créé possède le même groupe que celui du répertoire parent. Nous donnons la permission SGID au répertoire parent ainsi
[someuser@server]$ chmod g+s dirTest
[someuser@server]$ ls -l
drwxrws--- 2 someuser def-someuser 4096 Oct 13 19:39 dirTest
Remarquez que la permission x des permissions du groupe est maintenant s; les nouveaux fichiers créés dans dirTest seront associés au même groupe que le répertoire parent.
[someuser@server]$ touch dirTest/test02.txt
[someuser@server]$ ls -l dirTest
-rw-rw-r-- 1 someuser someuser 0 Oct 13 19:38 test01.txt
-rw-rw-r-- 1 someuser def-someuser 0 Oct 13 19:39 test02.txt
Si nous créons un répertoire sous un répertoire ayant la permission SGID, ce nouveau répertoire sera associé au même groupe que le répertoire parent et possédera aussi la permission SGID.
[someuser@server]$ mkdir dirTest/dirChild
[someuser@server]$ ls -l dirTest/
-rw-rw-r-- 1 someuser someuser 0 Oct 13 19:38 test01.txt
-rw-rw-r-- 1 someuser def-someuser 0 Oct 13 19:39 test02.txt
drwxrwsr-x 1 someuser def-someuser 0 Oct 13 19:39 dirChild
Il peut être important de distinguer entre S (majuscule) et s. Le S majuscule indique que les permissions d'exécution ont été retirées du répertoire, mais que le SGID est toujours en place. Il est facile de confondre les deux formes, ce qui peut créer des problèmes de permission inattendus, par exemple l'impossibilité pour les autres membres du groupe d'accéder des fichiers de votre répertoire.
[someuser@server]$ chmod g-x dirTest/
[someuser@server]$ ls -l
drwxrS--- 3 someuser def-someuser 4096 Oct 13 19:39 dirTest
Listes de contrôle d'accès
Les systèmes d'exploitation de type Unix fonctionnent avec ces permissions depuis plusieurs années, mais les possibilités sont limitées. Comme il n'y a que trois catégories d'utilisateurs (propriétaire, groupe, autres), comment permettre la lecture à un utilisateur en particulier qui n'appartient pas à un groupe? Faut-il alors permettre à tous de lire le fichier? Heureusement, la réponse est non, puisque dans de tels cas, les systèmes nationaux de Calcul Canada offrent des listes de règles d'accès (ACLs pour access control lists) par utilisateur. Les deux commandes pour ce faire sont :
- getfacl pour connaitre les permissions définies dans la liste,
- setfacl pour modifier ces permissions.
Par exemple, pour accorder à l'utilisateur smithj la permission de lire et exécuter le fichier my_script.py, la commande serait
[ someuser@server ]$ setfacl -m u:smithj:rx my_script.py
Pour accorder à un groupe particulier (ici wg-datasharing) la permission de lecture et écriture pour tout le contenu d'un répertoire particulier (/home/smithj/projects/def-smithj/shared_data), utilisez les commandes
[ someuser@server ]$ setfacl -d -m g:wg-datasharing:rwx /home/smithj/projects/def-smithj/shared_data
[ someuser@server ]$ setfacl -R -m g:wg-datasharing:rwx /home/smithj/projects/def-smithj/shared_data
La première commande configure les règles d'accès par défaut au répertoire /home/smithj/projects/def-smithj/shared_data pour que tous les fichiers et répertoires qui y sont créés héritent de la même règle ACL; elle est requise pour les nouvelles données.
La deuxième commande configure les règles ACL au répertoire et à toutes les données comprises à ce moment dans /home/smithj/projects/def-smithj/shared_data; elle s'applique aux données existantes.
Pour que cette méthode fonctionne, il faut s'assurer que
- le groupe particulier a été créé dans CCDB et que vous en êtes le propriétaire; vous pouvez ainsi ajouter ou supprimer des membres du groupe particulier;
- vous êtes aussi propriétaire du répertoire (ici,
/home/smithj/projects/def-smithj/shared_data), - puisque le groupe qui partagera les données n'est pas nécessairement le propriétaire du répertoire à partager, tous les répertoires parents sur son chemin doivent permettre un accès public avec la permission execute; la permission publique de lecture n'est pas nécessaire, à moins que vous ne l'accordiez.
Pour respecter ces exigences,
1. Faites parvenir un courriel à support@computecanada.ca pour demander la création du groupe qui partagera les données en spécifiant le nom du groupe et en mentionnant que vous souhaitez en être le propriétaire.
2. Lorsque la création du groupe est confirmée, connectez-vous à ccdb.computecanada.ca/services/ CCDB pour faire afficher la page des Services.
3. Cliquez sur le nom du groupe en question pour faire afficher les détails de ce groupe.
4. Ajoutez un membre (par exemple, Victor Van Doom avec son identifiant CCI vdv-888).
5. Assurez-vous que /home/smithj/projects/def-smithj possède la permission execute.
[ someuser@server ]$ chmod o+X /home/smithj/projects/def-smithj
Si vous n'avez pas les permissions requises pour exécuter cette commande, contactez le propriétaire du répertoire def-smithj (habituellement le chercheur principal) ou écrivez à support@calculcanada.ca.
6. Ajoutez le nouveau groupe à la liste de contrôle d'accès pour le répertoire.
[ someuser@server ]$ setfacl -d -m g:wg-datasharing:rwx /home/smithj/projects/def-smithj/shared_data
[ someuser@server ]$ setfacl -R -m g:wg-datasharing:rwx /home/smithj/projects/def-smithj/shared_data