QIIME/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
(Created page with "QIIME")
 
(Updating to match new version of source page)
 
(78 intermediate revisions by 2 users not shown)
Line 1: Line 1:
<languages />
<languages />
'''QIIME''' (canonically pronounced chime) stands for Quantitative Insights Into [https://en.wikipedia.org/wiki/Microbial_ecology Microbial Ecology], is an open-source [https://en.wikipedia.org/wiki/Bioinformatics bioinformatics] pipeline for performing [https://en.wikipedia.org/wiki/Microbiota microbiome] analysis from raw DNA sequencing data. QIIME is designed to take users from raw sequencing data generated on the [https://www.illumina.com/ Illumina] or other platforms through publication quality graphics and statistics. This includes demultiplexing and quality filtering, [https://en.wikipedia.org/wiki/Operational_taxonomic_unit OTU] picking, taxonomic assignment, and phylogenetic reconstruction, and diversity analyses and visualizations. QIIME has been applied to studies based on billions of sequences from tens of thousands of samples.
QIIME (pour <i>Quantitative Insights Into [https://fr.wikipedia.org/wiki/%C3%89cologie_microbienne Microbial Ecology]</i>) est un pipeline bioinformatique open source pour l’analyse de [https://fr.wikipedia.org/wiki/Microbiome microbiomes]. À partir de données brutes de séquençage d’ADN générées par des plateformes comme [https://www.illumina.com/ Illumina], QIIME produit des graphiques et statistiques de haute qualité pour, entre autres, le démultiplexage, le filtrage de qualité, la sélection d’OTU, l’attribution taxonomique, la reconstruction phylogénétique et l’analyse de la diversité.


'''Note''': QIIME 2 has succeeded QIIME 1 as of January 1, 2018. Version 1 is no longer supported.
<b>Remarque </b>: QIIME 2 a remplacé QIIME 1 en janvier 2018; la version 1 n'est plus supportée.


=Usage=
<b>Remarque </b>: Depuis février 2020, il n'est pas possible d'installer QIIME avec Anaconda ou Miniconda sur nos grappes en raison de plusieurs problèmes dus aux environnements Conda.</b>
This software can be installed in your home directory using conda.  It is not possible to install this software using pip at this time.


==Installation Instructions==
== Module pour QIIME2 ==
In Compute Canada we provide two ways of installing QIIME2: With and without [https://www.anaconda.com/ conda] environment.
QIIME2 est disponible en chargeant un module qui enveloppe un conteneur. Pour connaître les versions disponibles, lancez
{{Command|module spider qiime2}}


===With conda environment===
Une fois le module chargé, vous pouvez lancer
Although we '''do not recommend''' using conda environments in an HPC environment, we provide the option to do so at your own peril:
{{Command|qiime --help}}
 
{{Callout
  |title=Note
  |content=Étant donné que la commande <code>qiime</code> appelle un conteneur, il se peut que vous deviez définir la variable d'environnement <code>APPTAINER_BIND</code> pour attacher des répertoires particuliers dans ce conteneur pour avoir accès à vos données, par exemple <code>APPTAINER_BIND=/home qiime ...</code>
}}
 
==Installation ==
L’installation peut se faire en utilisant [[Apptainer/fr|Apptainer]] ou [[EasyBuild/fr|EasyBuild]]. Il est préférable d'utiliser Apptainer pour éviter que plusieurs milliers de fichiers soient générés dans votre répertoire /home, ce qui risquerait de dépasser le quota sur le nombre de fichiers.
{{Outdated/fr}}
 
 
=== Utilisation avec Apptainer ===
 
Les développeurs de QIIME2 publient des images sur [https://quay.io/organization/qiime2 Quay.io].
Pour utiliser ces images avec nos ressources, il faut d'abord  créer une image Apptainer comme suit&nbsp;:
 
{{Commands
|module load apptainer
|apptainer build qiime2-2021.11.sif docker://quay.io/qiime2/core:2021.11
}}
 
Cette étape du build pourrait prendre plus d'une heure, mais il ne faut l'effectuer qu'une seule fois. Sauvegardez le fichier image (dans notre exemple <code>qiime2-2021.11.sif</code>) pour pouvoir le réutiliser plus tard.
 
Exécutez ensuite votre programme comme décrit dans la [[Apptainer/fr|page Apptainer]]. De façon générale, chaque commande QIIME est exécutée dans un énoncé <code>apptainer exec</code> comme suit%nbsp;:
 
{{Commands
|apptainer exec qiime2-2021.11.sif <your QIIME command>
}}
 
Votre script [[Running jobs/fr|SBATCH]] ressemblerait à


Instructions for installing QIIME 2 provided by the developers are found [https://docs.qiime2.org/ here].  These instructions, adapted for Compute Canada systems, are given below for version 2019.7.  If a new version of the .yml file is released (check the link), use the newer version by updating the instructions below.
<pre>
<pre>
eb Miniconda3-4.5.12.eb
#!/bin/bash
module load miniconda3
#SBATCH --time=15:00:00
conda update conda
#SBATCH --account=def-someuser
wget https://data.qiime2.org/distro/core/qiime2-2019.7-py36-linux-conda.yml
 
conda env create -n qiime2-2019.7 --file qiime2-2019.7-py36-linux-conda.yml
apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
conda init bash
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
conda activate qiime2-2019.7
  qiime tools import --type 'FeatureData[Sequence]' \
  --input-path /inputs/some_fastafile.fa \
  --output-path /outputs/some_output_feature.qza
 
apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
  qiime tools import \
  --type 'FeatureData[Taxonomy]' \
  --input-format HeaderlessTSVTaxonomyFormat \
  --input-path /inputs/some_taxonomy_file.tax \
  --output-path /outputs/some_output_ref-taxonomy.qza
 
apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
  qiime feature-classifier fit-classifier-naive-bayes \
  --i-reference-reads  /outputs/some_output_feature.qza \
  --i-reference-taxonomy /outputs/some_output_ref-taxonomy.qza \
  --o-classifier /outputs/some_output_classifier.qza
</pre>
</pre>
Remember to log out and back in after "conda init bash" step.


To use after installation, run:
Notez qu'il est important d'utiliser l'option [[Apptainer/fr#Bind_mount|bind]] (<code>-B</code>) avec chacun des répertoires avec lesquels vous voulez travailler quand des programmes sont exécutés dans votre conteneur. Pour plus d'information, voyez ce [https://www.youtube.com/watch?v=bpmrfVqBowY webinaire Apptainer].
 
La première fois que des données sont importées en format QIIME, vous pourriez recevoir un message semblable à
<pre>
<pre>
module load miniconda3
Timezone offset does not match system offset: 0 != -18000. Please, check your config files.
conda activate qiime2-2019.7
</pre>
</pre>
Vous pouvez contourner ceci en définissant un fuseau horaire avant d'invoquer Apptainer, comme suit&nbsp;:
{{Commands
|export TZ{{=}}'UTC'
|apptainer exec qiime2-2021.11.sif qiime tools import ...
}}
=Références =


===Without conda environment (preferred)===
[http://qiime.org/ Site web QIIME]<br>
Since we know that conda environments can create more problems that it solve in HPC systems, we provide easybuild packages, that can be used with the eb command. To install QIIME2 version 2019.7, you have to do:
<!--[https://docs.conda.io/projects/conda/en/latest/user-guide/getting-started.html Getting started with Conda]<br>-->
<pre>
eb --rebuild Miniconda3-4.7.10.eb QIIME2-2019.7.eb
</pre>
This step takes a while, but will provide you with the qiime/2019.7 module, that you have to load before using:
<pre>
module load qiime2/2019.7
</pre>
=External Sources =
[http://qiime.org/ QIIME homepage]<br>
[https://easybuild.readthedocs.io/en/latest/ easybuild documentation]<br>
[https://docs.conda.io/projects/conda/en/latest/user-guide/getting-started.html Getting started with Conda]<br>
[[Category:Bioinformatics]]
[[Category:Bioinformatics]]
[[Category:User Installed Software]]
[[Category:User Installed Software]]

Latest revision as of 20:49, 9 January 2024

Other languages:

QIIME (pour Quantitative Insights Into Microbial Ecology) est un pipeline bioinformatique open source pour l’analyse de microbiomes. À partir de données brutes de séquençage d’ADN générées par des plateformes comme Illumina, QIIME produit des graphiques et statistiques de haute qualité pour, entre autres, le démultiplexage, le filtrage de qualité, la sélection d’OTU, l’attribution taxonomique, la reconstruction phylogénétique et l’analyse de la diversité.

Remarque : QIIME 2 a remplacé QIIME 1 en janvier 2018; la version 1 n'est plus supportée.

Remarque : Depuis février 2020, il n'est pas possible d'installer QIIME avec Anaconda ou Miniconda sur nos grappes en raison de plusieurs problèmes dus aux environnements Conda.

Module pour QIIME2

QIIME2 est disponible en chargeant un module qui enveloppe un conteneur. Pour connaître les versions disponibles, lancez

Question.png
[name@server ~]$ module spider qiime2


Une fois le module chargé, vous pouvez lancer

Question.png
[name@server ~]$ qiime --help


Note

Étant donné que la commande qiime appelle un conteneur, il se peut que vous deviez définir la variable d'environnement APPTAINER_BIND pour attacher des répertoires particuliers dans ce conteneur pour avoir accès à vos données, par exemple APPTAINER_BIND=/home qiime ...


Installation

L’installation peut se faire en utilisant Apptainer ou EasyBuild. Il est préférable d'utiliser Apptainer pour éviter que plusieurs milliers de fichiers soient générés dans votre répertoire /home, ce qui risquerait de dépasser le quota sur le nombre de fichiers.


Contenu désuet

Cette page ou cette section contient des informations qui sont désuètes ou qui ne sont plus valides. Elle sera mise à jour par notre équipe technique à un moment ultérieur.




Utilisation avec Apptainer

Les développeurs de QIIME2 publient des images sur Quay.io. Pour utiliser ces images avec nos ressources, il faut d'abord créer une image Apptainer comme suit :

[name@server ~]$ module load apptainer
[name@server ~]$ apptainer build qiime2-2021.11.sif docker://quay.io/qiime2/core:2021.11


Cette étape du build pourrait prendre plus d'une heure, mais il ne faut l'effectuer qu'une seule fois. Sauvegardez le fichier image (dans notre exemple qiime2-2021.11.sif) pour pouvoir le réutiliser plus tard.

Exécutez ensuite votre programme comme décrit dans la page Apptainer. De façon générale, chaque commande QIIME est exécutée dans un énoncé apptainer exec comme suit%nbsp;:

[name@server ~]$ apptainer exec qiime2-2021.11.sif <your QIIME command>


Votre script SBATCH ressemblerait à

#!/bin/bash
#SBATCH --time=15:00:00
#SBATCH --account=def-someuser

apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
  qiime tools import --type 'FeatureData[Sequence]' \
  --input-path /inputs/some_fastafile.fa \
  --output-path /outputs/some_output_feature.qza

apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
  qiime tools import \
  --type 'FeatureData[Taxonomy]' \
  --input-format HeaderlessTSVTaxonomyFormat \
  --input-path /inputs/some_taxonomy_file.tax \
  --output-path /outputs/some_output_ref-taxonomy.qza

apptainer exec -B $PWD:/home -B /scratch/someuser:/outputs \
  -B /project/def-somePI/someuser/path/to/inputs:/inputs qiime2-2021.11.sif \
  qiime feature-classifier fit-classifier-naive-bayes \
  --i-reference-reads  /outputs/some_output_feature.qza \
  --i-reference-taxonomy /outputs/some_output_ref-taxonomy.qza \
  --o-classifier /outputs/some_output_classifier.qza

Notez qu'il est important d'utiliser l'option bind (-B) avec chacun des répertoires avec lesquels vous voulez travailler quand des programmes sont exécutés dans votre conteneur. Pour plus d'information, voyez ce webinaire Apptainer.

La première fois que des données sont importées en format QIIME, vous pourriez recevoir un message semblable à

Timezone offset does not match system offset: 0 != -18000. Please, check your config files.

Vous pouvez contourner ceci en définissant un fuseau horaire avant d'invoquer Apptainer, comme suit :

[name@server ~]$ export TZ='UTC'
[name@server ~]$ apptainer exec qiime2-2021.11.sif qiime tools import ...


Références

Site web QIIME