CUDA

[CUDA] est une plateforme de calcul parallèle et un modèle de programmation développé par NVIDIA pour des calculs généraux utilisant le GPU.

On peut voir CUDA comme étant un ensemble de bibliothèques et de compilateurs C, C++ et Fortran qui permettent de créer des programmes pour les GPU. Pour d'autres outils de programmation pour GPU, consultez le Tutoriel OpenACC.

Un exemple simple

Compilation

Nous faisons exécuter ici du code créé avec le compilateur CUDA C/C++ nvcc. Ce même exemple plus détaillé se trouve à la page Tutoriel CUDA.

Chargez d'abord le module CUDA.

$ module purge
$ module load cuda

Dans cet exemple, nous additionnons deux nombres. Sauvegardez le fichier sous add.cu; le suffixe cu est important.

File : add.cu

#include <iostream>

__global__ void add (int *a, int *b, int *c){
  *c = *a + *b;
}

int main(void){
  int a, b, c;
  int *dev_a, *dev_b, *dev_c;
  int size = sizeof(int);
  
  //  allocate device copies of a,b, c
  cudaMalloc ( (void**) &dev_a, size);
  cudaMalloc ( (void**) &dev_b, size);
  cudaMalloc ( (void**) &dev_c, size);
  
  a=2; b=7;
  //  copy inputs to device
  cudaMemcpy (dev_a, &a, size, cudaMemcpyHostToDevice);
  cudaMemcpy (dev_b, &b, size, cudaMemcpyHostToDevice);
  
  // launch add() kernel on GPU, passing parameters
  add <<< 1, 1 >>> (dev_a, dev_b, dev_c);
  
  // copy device result back to host
  cudaMemcpy (&c, dev_c, size, cudaMemcpyDeviceToHost);
  std::cout<<a<<"+"<<b<<"="<<c<<std::endl;
  
  cudaFree ( dev_a ); cudaFree ( dev_b ); cudaFree ( dev_c );
}

Compilez le programme avec nvcc pour créer l'exécutable add.

$ nvcc add.cu -o add

Soumission de tâches

Pour exécuter le programme, créez le script Slurm ci-dessous. Assurez-vous de remplacer def-someuser par votre nom de compte (voir Comptes et projets). Pour les détails sur l'ordonnancement, consultez Ordonnancement Slurm des tâches avec GPU.

File : gpu_job.sh

#!/bin/bash
#SBATCH --account=def-someuser
#SBATCH --gres=gpu:1              # Number of GPUs (per node)
#SBATCH --mem=400M                # memory (per node)
#SBATCH --time=0-00:10            # time (DD-HH:MM)
./add #name of your program

Soumettez la tâche à l'ordonnanceur.

$ sbatch gpu_job.sh
Submitted batch job 3127733

Pour plus d'information sur la commande sbatch, l'exécution et le suivi des tâches, consultez Exécuter des tâches.

Le fichier en sortie sera semblable à ceci ː

$ cat slurm-3127733.out
2+7=9

Sans GPU, le résultat serait semblable à 2+7=0.

Lier des bibliothèques

Si votre programme doit établir des liens avec des bibliothèques incluses avec CUDA, par exemple cuBLAS, compilez avec ces indicateurs :

nvcc -lcublas -Xlinker=-rpath,$CUDA_PATH/lib64

Voyez le Tutoriel CUDA pour plus de détails sur cet exemple et pour savoir comment utiliser le parallélisme avec les GPU.

Dépannage

Attribut compute capability

NVIDIA utilise le terme compute capability pour désigner un des attributs des dispositifs GPU.

Parfois nommé SM version (SM pour Streaming Multiprocessor), il s'agit d'un numéro de version qui identifie certaines fonctionnalités d'un GPU. Cet attribut est utilisé à l'exécution d'une application pour déterminer les caractéristiques matérielles et/ou les instructions disponibles pour un GPU particulier; pour plus d'information, voir CUDA Toolkit Documentation, section 2.6.

Les messages d’erreur suivants sont causés par un problème en rapport avec cet attribut.

nvcc fatal : Unsupported gpu architecture 'compute_XX'

no kernel image is available for execution on the device (209)

L'ajout d'un indicateur dans l'appel nvcc pourrait résoudre ces problèmes.

-gencode arch=compute_XX,code=[sm_XX,compute_XX]

Si vous utilisez cmake, l'indicateur serait

cmake .. -DCMAKE_CUDA_ARCHITECTURES=XX

où XX est la valeur de compute capability pour le GPU NVIDIA qui sera utilisé pour exécuter votre application. Pour connaître ces valeurs, voyez le tableau GPU disponibles.

Par exemple, si votre code sera exécuté sur un nœud A100 de Narval, compute capability a la valeur de 80 et l'indicateur à utiliser lors de la compilation avec nvcc est

-gencode arch=compute_80,code=[sm_80,compute_80]

L'indicateur pour cmake est

cmake .. -DCMAKE_CUDA_ARCHITECTURES=80