ÉcoleCQ2019

École de printemps Calcul Québec 2019

Analyse de données avec Python - Objectifs

Intro au supercalculateur

• Aller sur le wiki de Calcul Canada et chercher École 2019
• Téléverser le fichier de soumission proposé sur le wiki sur le cluster
• Créer un répertoire qui contiendra le script de soumission et y déplacer le script
• Augmenter la durée de la tâche à 2 minutes avec nano
• Modifier l'account avec nano
• Soumettre la tâche
• Récupérer les fichiers de résultats

Intro à OpenRefine

• Importer le projet OpenRefine produit par la tâche (projet.json)
• Faire un undo sur les données manquantes
• Remplacer les données manquantes du nombre d'extermination par un 0
• Ajouter une colonne saison
• Sauvegarder le jeu de données résultats

Intro à Pandas / Python

• Téléverser le résultat vers Jupyter
• Ouvrir le jeu de données résultat avec Pandas
• Calculer la moyenne du nombre d'extermination par arrondissement
• Calculer la somme d'exterminations par saison par année
• Tracer un bar graph stacked du nombre d'extermination total par saison, par année

Intro au supercalculateur

Script de soumission

File : job.sh

#!/bin/bash
#SBATCH --time=00:00:30
#SBATCH --account=def-xyz
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#SBATCH --mem=512M

/project/def-sponsor00/projet/bin/simulation_punaises.py 5000