Storage and file management/fr

Introduction

Calcul Canada dispose de nombreuses options de stockage capables de répondre aux besoins des utilisateurs œuvrant dans des domaines extrêmement variés. Selon vos besoins et votre usage particulier, vous avez le choix parmi différentes solutions allant du stockage long terme au stockage local temporaire à haute vitesse. Dans la plupart des cas, les systèmes de fichiers de Calcul Canada sont des ressources partagées et devraient être utilisés de manière responsable; en effet, des dizaines et même des centaines d'utilisateurs peuvent être affectés par un seul utilisateur qui se comporte de manière irréfléchie. Ces systèmes de fichiers sont conçus pour le stockage d'un nombre limité de très grands fichiers, habituellement de type binaire plutôt que de type texte, qui ne sont pas directement lisibles par un être humain; pour cette raison, vous devriez éviter de stocker des milliers de petits fichiers de quelques mégaoctets, particulièrement dans le même répertoire. Une meilleure approche serait d'utiliser des commandes telles que tar ou zip pour convertir un répertoire de plusieurs petits fichiers en un très grand fichier d'archive; consultez Archiving and compressing files.

Il est de votre responsabilité de vérifier depuis quand vos données sont stockées. Le rôle de la plupart des systèmes de fichiers n'est pas d'offrir un service d'archivage à long terme; vous devez donc déplacer les fichiers et répertoires qui ne sont plus utilisés vers un autre endroit, que ce soit sur votre ordinateur personnel ou une autre ressource de stockage que vous contrôlez. Le transfert de grandes quantités de données se fait généralement avec Globus.

Prenez note que les ressources de stockage ne sont pas pour vos données personnelles, mais bien pour les données de recherche.

Types de stockage

Les ressources de Calcul Canada comprennent divers systèmes de fichiers pour le stockage; assurez-vous d'utiliser l'espace approprié pour un besoin particulier. Nous présentons ici les principaux systèmes de fichiers de l'infrastructure de Calcul Canada, leurs caractéristiques et les besoins pour lesquels ils sont conçus. Le matériel, la méthode d'accès et le mode d'écriture sont différents pour chacune des options.

Système de fichiers en réseau (NFS pour Network File System)

Ce type de stockage est généralement visible autant sur les nœuds de connexion que sur les nœuds de calcul. Il convient aux petits fichiers importants qui sont utilisés régulièrement, comme le code source, les programmes, les scripts de tâches et les fichiers de paramètres. La performance se compare à celle des disques durs conventionnels.

Système de fichiers parallèle (Lustre, GPFS)

Ce type de stockage est généralement visible autant sur les nœuds de connexion que sur les nœuds de calcul. Avec de multiples baies de stockage et des serveurs rapides, sa performance est excellente pour des gros fichiers et les opérations intensives d'entrées/sorties. Il est utilisé pour le stockage à long terme et le stockage temporaire (scratch). L'utilisation concurrente peut faire varier la performance.

Système de fichiers local

Ce type de stockage se fait sur chacun des nœuds de calcul auquel est attaché un disque dur local. Il présente l'avantage d'une performance élevée puisqu'il est rarement partagé; de façon générale, un seul utilisateur à la fois peut accéder à un disque local. Cependant, les fichiers doivent être copiés sur un autre média (espace scratch ou espace projet) avant la complétion de la tâche parce que tout est nettoyé après chaque tâche.

Système de fichiers en mémoire vive (RAM)

Puisqu'il réside dans la mémoire vive du nœud de calcul, il y a moins de capacité de mémoire restante pour les opérations. La vitesse est très grande dans le cas de petits fichiers et surtout plus grande qu'avec les autres systèmes quand l'accès aux fichiers est aléatoire. La mémoire vive est toujours nettoyée à la fin de la tâche.

Ce tableau montre les propriétés des divers types de stockage.

Types de stockage

Type	Accessibilité	Débit	Latence	Durée
système de fichiers réseau	tous les nœuds	faible	élevée	long terme
système de fichiers parallèle (long terme)	tous les nœuds	passable	élevée	long terme
système de fichiers parallèle (court terme)	tous les nœuds	passable	élevée	court terme (nettoyage périodique)
système de fichiers local	local pour le nœud	passable	moyenne	très court terme
système de fichiers en mémoire	local pour le nœud	bon	très basse	très court terme (nettoyage après chaque tâche)

Débit décrit l'efficacité dans les cas de grandes opérations, par exemple celles nécessitant plus d'un mégaoctet en lecture ou écriture.

Latence décrit l'efficacité dans le cas de plusieurs petites opérations. Un faible degré de latence est privilégié; cependant, il est toujours préférable de choisir une petite quantité de grandes opérations qu'une grande quantité de petites opérations.

Meilleures pratiques

• Utilisez uniquement des fichiers au format texte de moins de quelques mégaoctets.
• Autant que possible, réservez le stockage local pour les fichiers temporaires.
• Si le programme doit chercher à l'intérieur d'un fichier, il est plus rapide de lire le fichier au complet d'abord, ou d'utiliser un disque RAM.
• Nettoyez régulièrement les données dans les espaces projet et scratch puisque ceux-ci sont utilisés pour d'immenses collections de données.
• Si certains fichiers non utilisés doivent être conservés, archivez-les et compressez-les et si possible, copiez-les ailleurs (voir Archiving and compressing).
• Si les solutions de stockage offertes ne conviennent pas à vos besoins, écrivez au soutien technique.

Quotas et politiques

Afin que tous les utilisateurs de Calcul Canada puissent disposer de suffisamment d'espace de stockage, des quotas et des politiques sont imposés sur les copies de sauvegarde et la purge automatique de certains systèmes de fichiers. Chaque utilisateur dispose d'un accès aux espaces home et scratch par défaut et d'une certaine quantité de l'espace projet. Les utilisateurs qui souhaitent avoir accès à l'espace projet pour le maximum de 10To doivent en faire la requête. Pour sa part, l'espace nearline est réparti dans le cadre du concours d'allocation de ressources, ce qui peut augmenter le quota d'un groupe pour les espaces projet et scratch.

Caractéristiques des systèmes de fichiers

Espace	Quotas	Copié pour sauvegarde	Purgé	Disponible par défaut	Monté sur des nœuds de calcul
home	50Go, fichiers de 500K	oui	non	oui	oui
scratch	20To, fichiers de 1000K par utilisateur 100To, fichiers de 10M par groupe	non	oui, tous les fichiers enregistrés plus de N jours	oui	oui
projet	fichiers de 500K par utilisateur jusqu'à 10To, fichiers de 5M par groupe	oui	non	oui	oui
nearline	5To par groupe	non	non	non	non

Pour plus d'information

• Partage de données
• Cyberinfrastructure nationale de données
• Tuning Lustre
• Archiving and compressing files