Sharing data/fr

Page enfant de Storage and file management

Il arrive fréquemment de devoir partager ses données avec un collègue ou avec un autre groupe de recherche. Les grappes de Calcul Canada offrent tous les moyens pour ce faire.

Pour partager des données avec un membre d'un groupe de recherche dont vous faites partie, la meilleure approche est d'utiliser l'espace projet disponible aux membres du groupe. Si vous devez créer un groupe qui utilisera une des grappes nationales, communiquez avec le soutien technique, car les utilisateurs ne peuvent créer leur propres groupes.

Pour partager des données avec une personne qui ne détient pas de compte sur la grappe que vous utiliserez, vous pouvez créer un point de chute commun dans Globus.

Pour partager des données avec un autre utilisateur qui détient un compte sur la même grappe, mais qui ne fait pas partie du même groupe, le moyen le plus simple est de vous servir des permissions du système de fichiers en question, ce qui est ici le sujet principal.

La personne avec laquelle vous voulez partager vos données doit pouvoir accéder à tous les répertoires à partir des espaces /scratch ou /project, jusqu'au répertoire qui contient le fichier. Pour avoir accès, par exemple, à un document placé dans un coffre-fort situé dans une pièce de votre appartement, il ne suffit pas de me fournir la combinaison pour ouvrir le coffre-fort; je dois aussi pouvoir entrer dans l'édifice, puis dans votre appartement, puis dans la pièce où se trouve le coffre-fort. Dans le contexte d'un système de fichiers, ceci signifie accorder à l'autre utilisateur une permission d'exécution à tous les répertoires entre le répertoire racine (par exemple /scratch ou /project) et le répertoire qui contient le fichier en question.

Permissions des systèmes de fichiers

À l'instar de la plupart des systèmes de fichiers modernes, ceux des grappes de Calcul Canada possèdent des fonctionnalités permettant de lire, écrire et exécuter des fichiers et des répertoires. Quand un utilisateur essaie avec la commande cd de lire, modifier ou supprimer un fichier ou encore obtenir l'accès à un répertoire, le noyau Linux (le kernel) vérifie d'abord les permissions. Si l'action est impossible, un message annonce que la permission n’est pas accordée. Il existe trois catégories d'utilisateurs pour les objets fichiers ou répertoires d'un système de fichiers :

• le propriétaire de l'objet, habituellement l'utilisateur ayant créé cet objet
• les membres du groupe de l'objet, habituellement les mêmes que les membres du groupe par défaut du propriétaire
• tous les autres

À chacune de ces catégories d'utilisateurs peuvent être associées les permissions de lecture, d'écriture et d'exécution de l'objet. Avec trois catégories d'utilisateurs et trois types de permissions, il y a donc une possibilité de neuf permissions pouvant être associées à chaque objet.

Pour connaitre les permissions associées à un objet, utilisez

[name@server ~]$ ls -l name_of_object

Le résultat en sortie indique les permissions associées au propriétaire, au groupe et aux autres. Par exemple, ‑rw‑r‑‑r‑‑ permet au propriétaire seulement la lecture et l'écriture (read et write); la lecture est permise aux membres du groupe et à tous les autres utilisateurs. Le résultat montre aussi le nom du propriétaire de l'objet et le groupe.

Pour modifier les permissions associées à un fichier ou à un répertoire, utilisez la commande chmod suivie de la catégorie d'utilisateur puis du signe plus (+) ou moins (-) pour soit allouer ou retirer la permission, et enfin, la nature de la permission, soit lire (r) pour read, écrire (w) pour write ou exécuter (x) pour execute. Les catégories d'utilisateur sont u (user) pour le propriétaire, g pour le groupe et o (others) pour tous les autres utilisateurs de la grappe. Ainsi, la commande

[name@server ~]$ chmod g+r file.txt

accorde la permission de lecture à tous les membres du groupe auquel appartient le fichier file.txt, alors que la commande

[name@server ~]$ chmod o-x script.py

retire la permission d'exécuter le fichier script.py à tous, à l'exception du propriétaire et du groupe. On utilise la catégorie d'utilisateur a pour signifier tous (all); ainsi

[name@server ~]$ chmod a+r file.txt

indique que tous les utilisateurs de la grappe peuvent lire le fichier file.txt.

Pour ce qui est des permissions sous Unix, plusieurs utilisent la notation octale, même si cette dernière est moins intuitive. Les permissions pour une catégorie d'utilisateur sont représentées par trois bits qui sont interprétés comme un chiffre de 0 à 7 avec la formule (read_bit)*4 + (write_bit)*2 + (execute_bit)*1. Dans notre exemple, la représentation octale serait 4+2+0 = 6 pour le propriétaire et 4+0+0 = 4 pour le groupe et les autres, soit la valeur 644.

Notez que pour bénéficier de vos permissions reliées à un fichier, vous devez avoir accès au répertoire qui contient ce fichier; vous devrez donc avoir les permissions en lecture et en exécution (5 et 7 en notation octale) pour ce répertoire.

Pour modifier les permissions, utilisez la commande chmod avec la notation octale mentionnée plus haut; par exemple,

[name@server ~]$ chmod 777 name_of_file

accorde à tous les utilisateurs de la grappe les permissions d'écriture, de lecture et d'exécution. Bien entendu, vous pouvez seulement modifier les permissions associées à un fichier ou à un répertoire dont vous êtes propriétaire. Pour modifier le groupe, utilisez la commande chgrp.

Protection sticky bit

Comme c'est souvent le cas lorsqu'un professeur travaille avec plusieurs étudiants et collaborateurs, l'espace projet se trouve dans un répertoire partagé par plusieurs utilisateurs qui ont des permissions de lecture, d'écriture ou d'exécution : il faut donc s'assurer que les fichiers et les répertoires ne puissent être supprimés par un autre utilisateur que leur propriétaire. Le système de fichiers sous Unix comporte la fonctionnalité sticky bit qui empêche qu'un fichier soit supprimé ou renommé par un autre utilisateur que le propriétaire du fichier ou du répertoire. Sans ce sticky bit, les utilisateurs qui ont des permissions de lecture et d'écriture pour un répertoire peuvent renommer ou supprimer tous les fichiers du répertoire, même s'ils n'en sont pas les propriétaires. Pour positionner les permissions rwxrwxr-- et le stickly bit sur un répertoire, utilisez la commande chmod ainsi

[name@server ~]$ chmod +t <directory name>

ou en notation octale avec le mode 1000, ainsi

[name@server ~]$ chmod 1774 <directory name>

Dans ls -l, le sticky bit est représenté par la lettre t (ou T), à la fin du champ des permissions, comme suit

$ ls -ld directory
drwxrws--T 2 someuser def-someuser 4096 Sep 25 11:25 directory

Il est désactivé par la commande

[name@server ~]$ chmod -t <directory name>

ou en octal,

[name@server ~]$ chmod 0774 <directory name>

Pour l'espace projet, le propriétaire du répertoire est le chercheur principal qui parraine les étudiants et les collaborateurs.

Définition de l'ID du groupe (SGID)

Lorsque des fichiers et des répertoires sont créés dans un répertoire parent, il est très utile dans certains cas de pouvoir associer automatiquement le propriétaire ou le groupe de ces nouveaux fichiers et répertoires au répertoire parent ou au groupe auquel ils sont reliés. Ceci est très important au fonctionnement des fichiers de système des espaces projet de Cedar et Graham par exemple, puisque les quotas de stockage sont comptabilisés par groupe.

Avec la permission SGID (Set Group ID) donnée à un répertoire, les nouveaux fichiers et sous-répertoires créés sous celui-ci héritent du propriétaire du groupe auquel le répertoire est associé. Voyons un exemple.

Vérifiez d'abord quels sont les groupes auxquels someuser appartient avec la commande

[someuser@server]$ groups
someuser def-someuser

someuser appartient à deux groupes : someuser et def-someuser. Dans le répertoire actif, il y a un répertoire qui appartient au groupe def-someuser.

[someuser@server]$ ls -l
drwxrwx---  2 someuser   def-someuser       4096 Oct 13 19:39 testDir

Si nous créons un fichier dans ce répertoire, nous voyons qu'il appartient à someuser, groupe par défaut de someuser.

[someuser@server]$ touch dirTest/test01.txt
[someuser@server]$ ls -l dirTest/
-rw-rw-r-- 1 someuser   someuser    0 Oct 13 19:38 test01.txt

Nous ne voulons probablement pas nous trouver dans /project, mais nous voulons qu'un fichier nouvellement créé possède le même groupe que celui du répertoire parent. Nous donnons la permission SGID au répertoire parent ainsi

[someuser@server]$ chmod g+s dirTest
[someuser@server]$ ls -l
drwxrws---  2 someuser   def-someuser       4096 Oct 13 19:39 dirTest

Remarquez que la permission x des permissions du groupe est maintenant s; les nouveaux fichiers créés dans dirTest seront associés au même groupe que le répertoire parent.

[someuser@server]$ touch dirTest/test02.txt
[someuser@server]$ ls -l dirTest
-rw-rw-r-- 1 someuser   someuser      0 Oct 13 19:38 test01.txt
-rw-rw-r-- 1 someuser   def-someuser  0 Oct 13 19:39 test02.txt

Si nous créons un répertoire sous un répertoire ayant la permission SGID, ce nouveau répertoire sera associé au même groupe que le répertoire parent et possédera aussi la permission SGID.

[someuser@server]$ mkdir dirTest/dirChild
[someuser@server]$ ls -l dirTest/
-rw-rw-r-- 1 someuser   someuser      0 Oct 13 19:38 test01.txt
-rw-rw-r-- 1 someuser   def-someuser  0 Oct 13 19:39 test02.txt
drwxrwsr-x 1 someuser   def-someuser  0 Oct 13 19:39 dirChild

Il peut être important de distinguer entre S (majuscule) et s. Le S majuscule indique que les permissions d'exécution ont été retirées du répertoire, mais que le SGID est toujours en place. Il est facile de confondre les deux formes, ce qui peut créer des problèmes de permission inattendus, par exemple l'impossibilité pour les autres membres du groupe d'accéder des fichiers de votre répertoire.

[someuser@server]$ chmod g-x dirTest/
[someuser@server]$ ls -l
drwxrS---  3 someuser   def-someuser       4096 Oct 13 19:39 dirTest

Permissions par défaut des systèmes de fichiers

Les permissions par défaut sont définies par l'attribut umask. Une valeur par défaut est définie pour chaque système Linux. Pour faire afficher cette valeur dans votre session, lancez

[name@server ~]$ umask -S

Par exemple, le résultat sur Graham serait

[user@gra-login1]$ umask -S
u=rwx,g=rx,o=

Ceci signifie que par défaut, les nouveaux fichiers que vous créez peuvent être lus, modifiés et exécutés par vous-même; ils peuvent être lus et exécutés par les membres du groupe du fichier; les autres utilisateurs n'y ont pas accès. L'attribut umask ne s'applique qu'aux nouveaux fichiers; le fait de changer umask ne change pas les permissions d'accès aux fichiers existants.

Vous pourriez vouloir définir des permissions moins restrictives (par exemple pour permettre à d'autres utilisateurs de lire et exécuter les fichiers) ou plus restrictives (par exemple pour empêcher votre groupe de lire ou exécuter les fichiers). Vous pouvez définir votre attribut umask dans une session ou encore dans votre fichier .bashrc avec la commande

[name@server ~]$ umask <value>

où <value> est une valeur octale. Le tableau suivant montre des options utiles de umask.

Valeur	Permissions	Effet
077	u=rwx,g=,o=	Les fichiers peuvent être lus, modifiés et exécutés par le propriétaire seulement.
027	u=rwx,g=rx,o=	Les fichiers peuvent être lus et exécutés par le propriétaire et par le groupe, mais peuvent être modifiés par le propriétaire seulement.
007	u=rwx,g=rwx,o=	Les fichiers peuvent être lus, modifiés et exécutés par le propriétaire et par le groupe.
022	u=rwx,g=rx,o=rx	Les fichiers peuvent être lus et exécutés par tous, mais peuvent être modifiés par le propriétaire seulement.
002	u=rwx,g=rwx,o=rx	Les fichiers peuvent être lus et exécutés par tous, mais peuvent être modifiés par le propriétaire et par le groupe.

D'autres conditions déterminent l'accès aux fichiers.

• L'utilisateur qui veut avoir accès à un fichier doit avoir la permission d'exécution pour tous les répertoires dans le chemin de ce fichier. Par exemple, un fichier pourrait avoir les permissions o=rx, mais un utilisateur régulier ne pourra le lire ni l'exécuter si le répertoire parent n'a pas aussi la permission o=x.
• L'utilisateur qui veut avoir accès à un fichier ayant des permissions de groupe doit être membre du groupe du fichier.
• Les permissions d'un fichier ou d'un répertoire peuvent être modifiées après leur création avec chmod.
• L'accès aux fichiers est aussi déterminé par les liste de contrôle d'accès (ACL pour Access Control List).

Change of the default umask on Cedar, Béluga and Niagara

In the summer 2019, we discovered that the default umask was not the same on all Compute Canada servers. On October 16th, 2019, we will be changing the default umask on these three servers to match the one from Graham. The default umask will change as follows:

Cluster	umask before the change	umask after the change
Béluga	002	027
Cedar	002	027
Niagara	022	027

This will mean that more restrictive permissions will be enforced on newly created files. If you need more permissive permissions for your workflow, you can change your default umask in your .bashrc. Our general advice is however to keep the default permissions.

Note that this change does not mean that your files have been inappropriately exposed in the past. Restrictive access permissions have been set on your home, project, and scratch directories since the beginning. Unless the permissions were changed to give execute permission on one of these folders to others, your files still cannot be accessed by other people.

Changing the permissions of existing files

If you want to change the permissions of existing files to match the new default permissions, you can use the chmod command as follow:

[name@server ~]$ chmod g-w,o-rx <file>

or, if you want to do it for a whole directory, you can run

[name@server ~]$ chmod -R g-w,o-rx <directory>

Listes de contrôle d'accès

Partage de données avec un autre utilisateur

Les systèmes d'exploitation de type Unix fonctionnent avec ces permissions depuis plusieurs années, mais les possibilités sont limitées. Comme il n'y a que trois catégories d'utilisateurs (propriétaire, groupe, autres), comment permettre la lecture à un utilisateur en particulier qui n'appartient pas à un groupe? Faut-il alors permettre à tous de lire le fichier? Heureusement, la réponse est non, puisque dans de tels cas, les systèmes nationaux de Calcul Canada offrent des listes de règles d'accès (ACLs pour access control lists) par utilisateur. Les deux commandes pour ce faire sont :

• getfacl pour connaitre les permissions définies dans la liste,
• setfacl pour modifier ces permissions.

Partage d'un seul fichier

Par exemple, pour accorder à l'utilisateur smithj la permission de lire et exécuter le fichier my_script.py, la commande serait

$ setfacl -m u:smithj:rx my_script.py

Partage d'un sous-répertoire

Pour accorder un accès en lecture et écriture à un seul utilisateur dans un sous-répertoire, incluant les nouveaux fichiers qui y seront créés, utilisez les commandes suivantes :

$ setfacl -d -m u:smithj:rwx /home/<user>/projects/def-<PI>/shared_data
$ setfacl -R -m u:smithj:rwx /home/<user>/projects/def-<PI>/shared_data

La première commande détermine les règles d'accès au répertoire /home/<user>/projects/def-<PI>/shared_data; tous les fichiers et répertoires qui y seront créés hériteront de la mème règle ACL. Elle est nécessaire pour les nouvelles données. La deuxième commande détermine les règles ACL pour le répertoire /home/<user>/projects/def-<PI>/shared_data et tout le contenu actuel. Elle ne s'applique qu'aux données existantes.

In order for this method to work the following things need to be in place:

• The directory, /home/smithj/projects/def-smithj/shared_data in our example, must be owned by you.
• Parent directories (and parents of parents, etc.) of the one you are trying to share must allow execute permission to the user you are trying to share with. This can be supplied with setfacl u:smithj:x ... in this example, or it can be supplied by allowing everyone entry, i.e. chmod o+x .... They do not need to have public read permission. In particular you will need to grant execute permission on the project directory (/projects/def-<PI>) either for everyone, or one-by-one to all the people you are trying to share your data with.

Partage de données avec un groupe

For more complicated data sharing scenarios (those involving multiple people on multiple clusters), it is also possible to create a data sharing group. A data sharing group is a special group to which all people with whom certain data is to be shared are added. This group is then given access permissions through ACLs.

Vous aurez besoin d'un groupe dans des cas particuliers de partage de données.

Création d'un groupe de partage de données

La procédure suivante décrit la création du groupe wg-datasharing.

1. Écrivez à support@calculcanada.ca pour demander la création du groupe; indiquez le nom du groupe et dites que vous en êtes le propriétaire.
2. Quand vous recevez la confirmation de la création du groupe, allez à ccdb.computecanada.ca/services/.

3. Cliquez sur le nom du groupe en question pour faire afficher les détails de ce groupe.

4. Ajoutez un membre (par exemple, Victor Van Doom avec son identifiant CCI vdv-888).

Utilisation d'un groupe de partage de données

Comme pour le partage avec un seul utilisateur, les répertoires parents des données que vous voulez partager doivent avoir la permission d'exécuter, soit pour tous, soit pour le groupe avec lequel vous voulez les partager. Ceci signifie que dans le répertoire /project, le chercheur principal doit consentir comme suit (à moins que vous n'ayez la permission de faire ceci vous-même) :

$ chmod  o+X /project/def-<PI>/

or

$ setfacl g:wg_datasharing:X /project/def-<PI>/

Enfin, vous pouvez ajouter votre groupe à la liste de contrôle d'accès (ACL) pour le répertoire que vous voulez partager. The command parallel those needed to share with an individual:

$ setfacl -d -m g:wg-datasharing:rwx /home/<user>/projects/def-<PI>/shared_data
$ setfacl -R -m g:wg-datasharing:rwx /home/<user>/projects/def-<PI>/shared_data

Globus is a file transfer service