ÉcoleCQ2019: Difference between revisions
Jump to navigation
Jump to search
No edit summary |
|||
| (19 intermediate revisions by the same user not shown) | |||
| Line 1: | Line 1: | ||
= École de printemps Calcul Québec 2019 | = École de printemps Calcul Québec 2019 = | ||
== Analyse de données avec Python - Objectifs == | == Analyse de données avec Python - Objectifs == | ||
| Line 5: | Line 5: | ||
=== Intro au supercalculateur === | === Intro au supercalculateur === | ||
* Aller sur le wiki de Calcul Canada et chercher École 2019 | * Aller sur le wiki de Calcul Canada et chercher École 2019 | ||
* Téléverser le fichier de soumission proposé sur le wiki sur le cluster | * Téléverser le fichier de soumission proposé sur le wiki vers le cluster : ecole2019.calculquebec.cloud | ||
* Modifier l'account | * Créer un répertoire sur le cluster qui contiendra le script de soumission et y déplacer le script | ||
* Augmenter la durée de la tâche à 2 minutes avec nano | |||
* Modifier l'account avec nano pour utiliser : def-sponsor00 | |||
* Soumettre la tâche | * Soumettre la tâche | ||
* Récupérer les fichiers de résultats | * Récupérer les fichiers de résultats sur votre ordinateur | ||
=== Intro à OpenRefine === | === Intro à OpenRefine === | ||
* Importer le projet OpenRefine produit par la | * Importer le projet OpenRefine produit par la tâche (projet.json) | ||
* | * Annuler l'opération éliminant les lignes qui auraient des données d'extermination manquante | ||
* Remplacer les données manquantes par un 0 | * Remplacer les données manquantes du nombre d'extermination par un 0 | ||
* Ajouter une colonne | * Ajouter une colonne quadrimestre: | ||
** janvier à avril = 1 | |||
** mai à août = 2 | |||
** septembre à décembre = 3 | |||
* Sauvegarder le jeu de données résultats | * Sauvegarder le jeu de données résultats | ||
| Line 21: | Line 26: | ||
* Ouvrir le jeu de données résultat avec Pandas | * Ouvrir le jeu de données résultat avec Pandas | ||
* Calculer la moyenne du nombre d'extermination par arrondissement | * Calculer la moyenne du nombre d'extermination par arrondissement | ||
* Calculer la somme d'exterminations par | * Calculer la somme d'exterminations par quadrimestre par année | ||
* Tracer un | * Tracer un histogramme empilé | ||
** du nombre d'extermination total par quadrimestre, par année | |||
** du nombre d'extermination total par année, par quadrimestre | |||
* Discuter des différences entre les deux graphiques | |||
== Intro au supercalculateur == | == Intro au supercalculateur == | ||
| Line 34: | Line 41: | ||
|contents= | |contents= | ||
#!/bin/bash | #!/bin/bash | ||
#SBATCH --time= | #SBATCH --time=00:00:30 | ||
#SBATCH --account=def-xyz | #SBATCH --account=def-xyz | ||
#SBATCH --ntasks=1 | #SBATCH --ntasks=1 | ||
Latest revision as of 15:41, 17 May 2019
École de printemps Calcul Québec 2019
Analyse de données avec Python - Objectifs
Intro au supercalculateur
- Aller sur le wiki de Calcul Canada et chercher École 2019
- Téléverser le fichier de soumission proposé sur le wiki vers le cluster : ecole2019.calculquebec.cloud
- Créer un répertoire sur le cluster qui contiendra le script de soumission et y déplacer le script
- Augmenter la durée de la tâche à 2 minutes avec nano
- Modifier l'account avec nano pour utiliser : def-sponsor00
- Soumettre la tâche
- Récupérer les fichiers de résultats sur votre ordinateur
Intro à OpenRefine
- Importer le projet OpenRefine produit par la tâche (projet.json)
- Annuler l'opération éliminant les lignes qui auraient des données d'extermination manquante
- Remplacer les données manquantes du nombre d'extermination par un 0
- Ajouter une colonne quadrimestre:
- janvier à avril = 1
- mai à août = 2
- septembre à décembre = 3
- Sauvegarder le jeu de données résultats
Intro à Pandas / Python
- Téléverser le résultat vers Jupyter
- Ouvrir le jeu de données résultat avec Pandas
- Calculer la moyenne du nombre d'extermination par arrondissement
- Calculer la somme d'exterminations par quadrimestre par année
- Tracer un histogramme empilé
- du nombre d'extermination total par quadrimestre, par année
- du nombre d'extermination total par année, par quadrimestre
- Discuter des différences entre les deux graphiques
Intro au supercalculateur
Script de soumission
File : job.sh
#!/bin/bash
#SBATCH --time=00:00:30
#SBATCH --account=def-xyz
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=1
#SBATCH --mem=512M
/project/def-sponsor00/projet/bin/simulation_punaises.py 5000