View source for Weights & Biases (wandb)/fr

<languages />
[https://wandb.ai Weights & Biases (wandb)] est une plateforme de méta-apprentissage machine qui permet de construire des modèles pour des applications concrètes. La plateforme permet de suivre, comparer, décrire et reproduire les expériences d'apprentissage machine.

== Utilisation sur nos grappes ==

=== Disponibilité === 


Puisque wandb exige une connexion à l'internet, sa disponibilité sur les nœuds de calcul dépend de la grappe.

{| class="wikitable"
|-
! Grappe !! Disponible !! 
|-
| Béluga || non ❌ || Wandb nécessite l'accès à Google Cloud Storage, ce qui n'est pas possible sur les noeuds de calcul
|-
| Cedar || oui ✅ || accès internet activé
|-
| Graham || non ❌ || accès internet désactivé sur les nœuds de calcul 
|}

=== Béluga ===

S'il est possible de téléverser des métriques de base pour Weights&Biases par une tâche sur Béluga, le paquet wandb téléverse automatiquement de l'information sur l'environnement utilisé vers un compartiment (''bucket'') Google Cloud Storage, ce qui cause un plantage (''crash'') au cours d'un entrainement ou à sa toute fin; présentement, il est impossible de désactiver ce comportement. Le téléversement d'artefacts avec <tt>wandb.save()</tt> nécessite aussi l'accès au Google Cloud Storage, ce qui n'est pas disponible sur les nœuds de calcul de Béluga.

Vous pouvez quand même utiliser wandb sur Béluga en activant les modes [https://docs.wandb.ai/library/cli#wandb-offline <tt>offline</tt>] ou [https://docs.wandb.ai/library/init#save-logs-offline <tt>dryrun</tt>]. Avec ces modes, wandb écrit tous les métriques, journalisations et artefacts sur le disque local, sans synchronisation avec le service internet Weights&Biases. Une fois les tâches terminées, vous pouvez faire la synchronisation avec la commande [https://docs.wandb.ai/ref/cli#wandb-sync <tt>wandb sync</tt>] sur le nœud de connexion.

Remarquez que le produit [[Comet.ml/fr|Comet.ml]] est très semblable à Weights & Biases et qu'il fonctionne sur Béluga.

=== Exemple ===

L'exemple suivant montre comment utiliser wandb pour le suivi de l'expérimentation sur Béluga. Pour reproduire ceci sur Cedar, il n'est pas nécessaire d'activer le mode hors ligne.

{{File
  |name=wandb-test.sh
  |lang="bash"
  |contents=
#!/bin/bash
#SBATCH --account=YOUR_ACCOUNT
#SBATCH --cpus-per-task=1 
#SBATCH --mem=4G       
#SBATCH --time=0-03:00
#SBATCH --output=%N-%j.out


module load python/3.8
virtualenv --no-download $SLURM_TMPDIR/env
source $SLURM_TMPDIR/env/bin/activate
pip install --no-index wandb

### Save your wandb API key in your .bash_profile or replace $API_KEY with your actual API key. Uncomment the line below and comment out 'wandb offline'. if running on Cedar ###

#wandb login $API_KEY 

wandb offline

python wandb-test.py
}}

<div class="mw-translate-fuzzy">
Le script wandb-test.py utilise la méthode <tt>watch()</tt> pour journaliser les métriques. Voir [https://docs.wandb.ai la  documentation complète].
</div>

<div class="mw-translate-fuzzy">
{{File
  |name=wandb-test.py
  |lang="python"
  |contents=
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
import torch.backends.cudnn as cudnn
</div>

wandb.init(project="wandb-pytorch-test")

for my_metric in range(10):
    wandb.log({'my_metric': my_metric})

}}

After a training run in offline mode, there will be a new folder <code>./wandb/offline-run*</code>. You can send the metrics to the server using the command <code>wandb sync ./wandb/offline-run*</code>. Note that using <code>*</code> will sync all runs.