All translations

Jump to navigation Jump to search

Enter a message name below to show all available translations.

Message

Found 2 translations.

NameCurrent message text
 h English (en)In certain domains, notably [[AI and Machine Learning]], it is common to have to manage very large collections of files, meaning hundreds of thousands or more. The individual files may be fairly small, e.g. less than a few hundred kilobytes. In these cases, a problem arises due to [[Storage_and_file_management#Filesystem_quotas_and_policies|filesystem quotas]] on our clusters that limit the number of filesystem objects. Very large numbers of files, particularly small ones, create significant problems for the performance of these shared filesystems as well as the automated backup of the home and project spaces.  
<p>
So how can a user or group of users store these necessary datasets on the cluster?  In this page we will present a variety of different solutions, each with its own pros and cons, so you may judge for yourself which is appropriate for you.
 h French (fr)Dans certains domaines, particulièrement en [[AI and Machine Learning/fr|intelligence artificielle et en apprentissage machine]], on doit souvent composer avec des centaines de milliers de fichiers comprenant parfois plusieurs centaines de kilo-octets. Dans ces cas, il faut tenir compte des limites d’objets imposées par les [[Storage_and_file_management/fr#Quotas_et_politiques|quotas des systèmes de fichiers]]. Un très grand nombre de fichiers, et particulièrement des fichiers de petite taille, cause d'importants problèmes à la performance des systèmes de fichiers et à la sauvegarde automatisée de <tt>/home</tt> et <tt>/project</tt>
<p>
Nous présentons ici les avantages et les inconvénients de quelques solutions pour le stockage de ces grands ensembles de données.