Stockage /nearline
Système de fichier virtualisé sur bande
Le stockage sur l'espace projet est similaire à celui sur nearline, sauf que ce dernier système de fichiers peut virtualiser les fichiers en les copiant sur bande. C’est une solution pour gérer les fichiers qui sont peu utilisés, car les fichiers sur bande n’affectent pas votre quota de disque et ils demeurent accessibles, avec toutefois un accès moins rapide.
Ceci est utile parce que nos bibliothèques de bandes ont une grande capacité qui peut être agrandie. Quand un fichier est copié sur bande (ou virtualisé), il demeure visible dans la liste des fichiers du répertoire. Si une opération de lecture est faite sur le fichier, le processus de lecture est interrompu pendant un certain temps (probablement quelques minutes) pendant que le contenu du fichier est copié de la bande au disque. Par la suite, les opérations IO s’effectuent de la même manière qu’avec les autres fichiers sur disque.
Utilité et état
Le délai de lecture d’un fichier sur bande étant plus long, nearline n’est pas adéquat dans le cas de tâches où le temps alloué est consommé par ce type d’attente. L’accès à nearline se fait à partir des nœuds de connexion ou de transfert (DTN pour data transfer node).
Nearline is intended for use with relatively large files - do not use it for large numbers of small files. In fact, files smaller than a certain threshold size may not be moved to tape at all. Files smaller than ~200MB should be combined into archive files ("tarballs") using tar or a similar tool.
Nearline est présentement disponible sur Graham et les travaux sont en cours pour le rendre disponible aussi sur Cedar et Béluga.
Utilisation
Pour utiliser nearline, vous n’avez qu‘à déposer vos fichiers dans votre répertoire ~/nearline/PROJECT. Après un certain temps (présentement 24 heures), les fichiers seront copiés sur bande. Si aucune modification n’est effectuée au fichier après un certain temps (aussi 24 heures), la copie sur disque est supprimée, virtualisant ainsi le fichier sur bande.
Nearline is only accessible as a directory on the login nodes and DTNs ("Data Transfer Nodes"),
To use Nearline, just put files into your ~/nearline/PROJECT directory. After a period of time (currently 24 hours), they'll be copied onto tape. If the file remains unchanged for another period (also 24h), the copy on disk will be removed, making the file virtualized on tape.
Lorsque vous supprimez un fichier de ~/nearline, la copie sur bande est conservée pour 60 jours. Pour restaurer ces fichiers, vous devez contacter le soutien technique en mentionnant le chemin complet et la version (avec la date), de la même manière que vous procéderiez pour restaurer une copie de sauvegarde. Il est donc important que vous conserviez une copie de la structure complète de votre espace nearline. La commande ls -R > ~/nearline_contents.txt lancée du répertoire ~/nearline/PROJECT vous permettra de voir où sont situés les fichiers dans votre espace nearline.
1. By submitting hpss-specific commands htar or hsi as an 'archive' job to SLURM; see the HPSS documentation for detailed examples. Using job scripts offer the benefit of automating Nearline transfers, and is the best method if you use HPSS regularly.
2. For small data management of files in HPSS, you can use the VFS ("Virtual File System") node, which is accessed using the command: salloc --time=1:00:00 -pvfsshort
3. You can also use Globus for transfers to and from HPSS using the endpoint computecanada#hpss. This is useful for occasional usage and for transfers from other sites.
In usage modes 1 and 2, your HPSS files can be found in the $ARCHIVE directory, which is like '$PROJECT' but with '/project' replaced by '/archive'.