BUSCO/fr: Difference between revisions

From Alliance Doc
Jump to navigation Jump to search
No edit summary
No edit summary
Line 135: Line 135:
Utilisez <code>--cpu</code> avec <code>$SLURM_CPUS_PER_TASK</code> dans le script de la tâche pour utiliser le nombre alloué de CPU.
Utilisez <code>--cpu</code> avec <code>$SLURM_CPUS_PER_TASK</code> dans le script de la tâche pour utiliser le nombre alloué de CPU.


<div class="mw-translate-fuzzy">
Utilisez <code>--restart</code> pour reprendre une tâche interrompue.
et ajoutez ''home/$USER/busco_env/scripts'' au chemin.
</div>


====Sounmettre une tâche====
====Sounmettre une tâche====

Revision as of 19:18, 14 December 2023

Other languages:


BUSCO (pour Benchmarking Universal Single-Copy Orthologs) est une application qui permet d'évaluer la complétude de l'assemblage et de l'annotation de génomes.

Pour plus d'information, consultez le manuel de l'utilisateur.

Versions disponibles

Les versions récentes sont disponibles dans des wheels et les plus anciennes versions sont dans un module (voir la section Modules ci-dessous).

Pour connaître la dernière version disponible, lancez

Question.png
[name@server ~]$ avail_wheel busco

Wheel Python

Installation

1. Chargez les modules requis.

[name@server ~]$ module load StdEnv/2020 gcc python/3.10 augustus hmmer blast+ metaeuk prodigal r bbmap


2. Créez l'environnement virtuel.

[name@server ~]$ virtualenv ~/busco_env
[name@server ~]$ source ~/busco_env/bin/activate


3. Installez le wheel et ses dépendances.

Question.png
(busco_env) $ pip install biopython pandas busco --no-index

4. Validez l'installation.

Question.png
(busco_env) $ busco --help

5. Gelez l’environnement et le fichier requirements.txt pour utiliser ce fichier, voir le script bash montré au point 8.

Question.png
(busco_env) $ pip freeze > ~/busco-requirements.txt

Utilisation

Ensembles de données

6. Avant de soumettre une tâche, les ensembles de données doivent être téléchargés de BUSCO data.

Pour connaître les ensembles de données disponibles, entrez busco --list-datasets dans votre terminal.

Vous pouvez utiliser l'une des deux commandes suivantes :

  • busco
  • wget
6.1 Téléchargement avec la commande busco

Cette option est recommandée. Entrez la commande suivante dans votre répertoire de travail pour télécharger l’ensemble de données, par exemple

[name@server ~]$ busco --download bacteria_odb10


Il est aussi possible de télécharger plusieurs ensembles de données en une opération en ajoutant les arguments all, prokaryota, eukaryota ou virus, par exemple

[name@server ~]$ busco --download virus

Ceci permet de

1. créer une hiérarchie pour les ensembles de données,
2. télécharger les ensembles de données appropriés,
3. décompresser le ou les fichiers,,
4. si plusieurs fichiers sont téléchargés, ils seront automatiquement ajoutés au répertoire des lignées.

La hiérarchie sera esmblable à

  • busco_downloads/
  • information/
lineages_list.2021-12-14.txt
  • lineages/
bacteria_odb10
actinobacteria_class_odb10
actinobacteria_phylum_odb10
  • placement_files/
list_of_reference_markers.archaea_odb10.2019-12-16.txt

Tous les fichiers de lignées se trouveront alors dans busco_downloads/lineages/. La présence de --download_path busco_downloads/ dans la ligne de commande BUSCO indiquera où trouver l’argument --lineage_dataset bacteria_odb10 pour l'ensemble de données. Si busco_download n’est pas votre répertoire de travail, il faudra fournir le chemin complet.

6.2 Téléchargement avec la commande wget

Tous les fichiers doivent être décompressés avec tar -xvf file.tar.gz.

[name@server ~]$ mkdir -p busco_downloads/lineages
[name@server ~]$ cd busco_downloads/lineages
[name@server ~]$ wget https://busco-data.ezlab.org/v5/data/lineages/bacteria_odb10.2020-03-06.tar.gz
[name@server ~]$ tar -xvf bacteria_odb10.2020-03-06.tar.gz


Test

7. Téléchargement des fichiers de génome.

[name@server ~]$ wget https://gitlab.com/ezlab/busco/-/raw/master/test_data/bacteria/genome.fna


8. Exécution.

Pour un seul génome :

Question.png
[name@server ~]$ busco --offline --in genome.fna --out TEST --lineage_dataset bacteria_odb10 --mode genome --cpu ${SLURM_CPUS_PER_TASK:-1} --download_path busco_download/

Pour plusieurs génomes, le répertoire genome/ doit se trouver dans le répertoire courant, autrement il faut donner le chemin complet :

Question.png
[name@server ~]$ busco --offline --in genome/ --out TEST --lineage_dataset bacteria_odb10 --mode genome --cpu ${SLURM_CPUS_PER_TASK:-1} --download_path busco_download/

La commande pour un seul génome devrait être exécutée sous les 60 secondes. Les tâches de production qui nécessitent plus de temps doivent être soumises à l'ordonnanceur.

Conseils pour BUSCO

Utilisez --in genome.fna pour analyser un seul fichier.

Utilisez --in genome/ pour analyser un seul fichier

Conseils pour Slurm

Utilisez --offline pour éviter l'utilisation de l’internet.

Utilisez --cpu avec $SLURM_CPUS_PER_TASK dans le script de la tâche pour utiliser le nombre alloué de CPU.

Utilisez --restart pour reprendre une tâche interrompue.

Sounmettre une tâche

Here you have an example of a submission script. You can submit as so: sbatch run_busco.sh.


File : run_busco.sh

#!/bin/bash

#SBATCH --job-name=busco9_run
#SBATCH --account=def-someprof    # adjust this to match the accounting group you are using to submit jobs
#SBATCH --time=01:00:00           # adjust this to match the walltime of your job
#SBATCH --cpus-per-task=8         # adjust depending on the size of the genome(s)/protein(s)/transcriptome(s)
#SBATCH --mem=20G                 # adjust this according to the memory you need

# Load modules dependencies.
module load StdEnv/2020 gcc python augustus hmmer blast+ metaeuk prodigal r bbmap

# Generate your virtual environment in $SLURM_TMPDIR.
virtualenv --no-download ${SLURM_TMPDIR}/env
source ${SLURM_TMPDIR}/env/bin/activate

# Install busco and its dependencies.
pip install --no-index --upgrade pip
pip install --no-index --requirement ~/busco-requirements.txt

# Edit with the proper arguments, run your commands.
busco --offline --in genome.fna --out TEST --lineage_dataset bacteria_odb10 --mode genome --cpu ${SLURM_CPUS_PER_TASK:-1} --download_path busco_download/


Augustus parameters

9. Advanced users may want to use Augustus parameters: --augustus_parameters="--yourAugustusParameter".

  • Copy the Augustus config directory to a writable location.
Question.png
[name@server ~]$ cp -r $EBROOTAUGUSTUS/config $HOME/augustus_config
  • Make sure to define the AUGUSTUS_CONFIG_PATH environment variable.
Question.png
[name@server ~]$ export AUGUSTUS_CONFIG_PATH=$HOME/augustus_config

SEPP parameters

10. To use SEPP parameters, you need to install SEPP locally in your virtual environment. This should be done in a login node.

10.1. Activate your BUSCO virtual environment.

[name@server ~]$ source busco_env/bin/activate


10.2. Install DendroPy.

[name@server ~]$ pip install 'dendropy<4.6'


10.3. Install SEPP.

[name@server ~]$ git clone https://github.com/smirarab/sepp.git
[name@server ~]$ cd sepp
[name@server ~]$ python setup.py config
[name@server ~]$ python setup.py install


10.4. Validate the installation.

[name@server ~]$ cd
[name@server ~]$ run_sepp.py -h


10.5. Because SEPP is installed locally, you cannot create the virtual environment as described in the previous submission script. To activate your local virtual environment, simply add the following command immediately under the line to load the module:

[name@server ~]$ source ~/busco_env/bin/activate


Modules


Deprecation

This section is outdated. We are currently working on an update.



1. Chargez les modules nécessaires.

Question.png
[name@server ~]$ module load StdEnv/2018.3 gcc/7.3.0 openmpi/3.1.4 busco/3.0.2 r/4.0.2

Ceci charge aussi les modules pour augustus, blast+, hmmer et d'autres paquets requis par BUSCO.

La commande run_BUSCO.py devrait prendre moins de 60 secondes. Les tâches dont la production est plus longue doivent être soumises à l'ordonnanceur.

Pour plus d’information, consultez le manuel d'utilisation.

File : partial_busco_config.ini

[tblastn]
# path to tblastn
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/blast+/2.7.1/bin/

[makeblastdb]
# path to makeblastdb
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/blast+/2.7.1/bin/

[augustus]
# path to augustus
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/augustus/3.3/bin/

[etraining]
# path to augustus etraining
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/augustus/3.3/bin/

# path to augustus perl scripts, redeclare it for each new script
[gff2gbSmallDNA.pl]
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/augustus/3.3/scripts/
[new_species.pl]
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/augustus/3.3/scripts/
[optimize_augustus.pl]
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/augustus/3.3/scripts/

[hmmsearch]
# path to HMMsearch executable
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/hmmer/3.1b2/bin/

[Rscript]
# path to Rscript, if you wish to use the plot tool
path = /cvmfs/soft.computecanada.ca/easybuild/software/2017/avx512/Compiler/gcc7.3/r/4.0.2/bin/


Pour connaître la plus récente version, lancez

Question.png
[name@server ~]$ avail_wheel busco

Wheels Python

Installation

1. Chargez les modules nécessaires.

[name@server ~]$ module load StdEnv/2020 gcc python/3.10
[name@server ~]$ module load python augustus hmmer blast+ metaeuk prodigal r

2. Créez l'environnement virtuel.

[name@server ~]$ virtualenv busco_env
[name@server ~]$ source busco_env/bin/activate

3. Installez le wheel et ses dépendances.

Question.png
(busco_env) $ pip install biopython pandas busco --no-index

Utilisation

Ensembles de données

Avant de soumettre votre tâche, chargez les ensembles de données à partir de Index of /v5/data/.

Options pour votre script

Spécifiez --offline pour ne pas utiliser l'internet.