Star-CCM+

From Alliance Doc
Revision as of 17:50, 13 October 2020 by FuzzyBot (talk | contribs) (Updating to match new version of source page)
Jump to navigation Jump to search
Other languages:

STAR-CCM+ est une suite logicielle de simulation utilisée dans plusieurs spécialités de génie. Elle permet la modélisation dans des domaines variés dont l'acoustique, la dynamique des fluides, le transfert thermique, la rhéologie, l'écoulement polyphasique, le flux de particules, la mécanique des solides, les fluides réactifs, l'électrochimie et l'électromagnétisme.

Limites de la licence

Les binaires STAR-CCM+ sont installés sur nos serveurs, mais nous n'avons pas de licence pour nos utilisateurs; ceux-ci doivent donc posséder leur propre licence.

Utilisation de votre propre serveur de licence

Afin de configurer votre compte pour utiliser votre propre serveur de licence avec le module Star-CCM+ de Calcul Canada, créez le fichier de licence $HOME/.licenses/starccm.lic qui contient

File : starccm.lic

SERVER IP ANY PORT
USE_SERVER


où IP et PORT sont l'adresse IP et le port de votre serveur de licence.

Soumettre des tâches en lot sur nos grappes

Sélectionnez l’un des modules disponibles, selon vos besoins :

  • starccm pour le format double précision,
  • starccm-mixed pour le format précision mixte.

Deux distributions MPI peuvent être employées :

  • IBM Platform MPI est employée par défaut, mais n’est cependant pas compatible avec le réseau OmniPath sur Cedar;
  • Intel MPI est indiquée avec l'option -mpi intel.

Étant donné que ces implémentations MPI ne sont pas complètement intégrées avec l’ordonnanceur Slurm, il faut préparer un fichier contenant la liste des serveurs que vous voulez utiliser. Pour ce faire, vous pouvez utiliser le script slurm_hl2hl.py qui, lancé avec l’option --format STAR-CCM+ fournira cette liste; copiez la liste dans un fichier qui pourra ensuite être lu par STAR-CCM+. En raison de l’intégration limitée de MPI avec Slurm, il faut aussi utiliser les options --ntasks-per-node=1 et --cpus-per-task=32 lorsque vous soumettez vos tâches. En particulier, quand vous soumettez une tâche sur Cedar avec les modules de la version 14.02.012, vous devez ajouter -fabric psm2 à la ligne de commande de starccm+ (dernière ligne de l'exemple de script sous l'onglet Cedar ci-dessous) pour que les tâches sur plusieurs nœuds s'effectuent sans problème, autrement aucun résultat ne sera produit.

Vous devrez aussi configurer votre environnement pour l’utilisation de votre licence. Cette opération est plutôt simple si vous utilisez le serveur CD-adapco qui vous permet de payer uniquement pour votre consommation. Par contre, si vous utilisez un serveur de licence interne, contactez le soutien technique pour obtenir de l'aide.

Sur Niagara, les nœuds de calcul configurent le système de fichiers $HOME en lecture seule (read only). Il est donc important de définir la variable d'environnement $STARCCM_TMP et de la diriger vers $SCRATCH, ce qui est unique à la version de StarCCM+. Autrement, StarCCM+ tente de créer le répertoire dans $HOME et se termine de façon anormale.

File : starccm_job.sh

#!/bin/bash
#SBATCH --account=def-group   # Specify some account
#SBATCH --time=00-01:00       # Time limit: dd-hh:mm
#SBATCH --nodes=2             # Specify 1 or more nodes
#SBATCH --cpus-per-task=40    # Request all cores per node
#SBATCH --mem=0               # Request all memory per node
#SBATCH --ntasks-per-node=1   # Do not change this value

module load StdEnv/2020       # Uncomment for 15.04.010 or newer versions

# module load starccm/14.06.013-R8
# module load starccm-mixed/14.06.013
# module load starccm/15.04.010-R8
module load starccm-mixed/15.04.010

export LM_PROJECT='YOUR CD-ADAPCO PROJECT ID GOES HERE'
export CDLMD_LICENSE_FILE="1999@flex.cd-adapco.com"

export STARCCM_TMP="${SCRATCH}/.starccm-${EBVERSIONSTARCCM}"
mkdir -p "$STARCCM_TMP"

slurm_hl2hl.py --format STAR-CCM+ > machinefile

NCORE=$((SLURM_NTASKS * SLURM_CPUS_PER_TASK))

starccm+ -batch -power -np $NCORE -podkey $LM_PROJECT -licpath $CDLMD_LICENSE_FILE -machinefile $PWD/machinefile $PWD/your-file.sim
File : starccm_job.sh

#!/bin/bash
#SBATCH --account=def-group   # Specify some account
#SBATCH --time=00-01:00       # Time limit: dd-hh:mm
#SBATCH --nodes=2             # Specify 1 or more nodes
#SBATCH --cpus-per-task=48    # or 32 for smaller full nodes
#SBATCH --mem=0               # Request all memory per node
#SBATCH --ntasks-per-node=1   # Do not change this value

module load StdEnv/2020       # Uncomment for 15.04.010 or newer versions

# module load starccm/14.06.013-R8
# module load starccm-mixed/14.06.013
# module load starccm/15.04.010-R8
module load starccm-mixed/15.04.010

export LM_PROJECT='YOUR CD-ADAPCO PROJECT ID GOES HERE'
export CDLMD_LICENSE_FILE="1999@flex.cd-adapco.com"

export STARCCM_TMP="${SCRATCH}/.starccm-${EBVERSIONSTARCCM}"
mkdir -p "$STARCCM_TMP"

slurm_hl2hl.py --format STAR-CCM+ > machinefile

NCORE=$((SLURM_NTASKS * SLURM_CPUS_PER_TASK))

starccm+ -batch -power -np $NCORE -podkey $LM_PROJECT -licpath $CDLMD_LICENSE_FILE -machinefile $PWD/machinefile $PWD/your-file.sim -mpi intel
File : starccm_job.sh

#!/bin/bash
#SBATCH --account=def-group   # Specify some account
#SBATCH --time=00-01:00       # Time limit: dd-hh:mm
#SBATCH --nodes=2             # Specify 1 or more nodes
#SBATCH --cpus-per-task=32    # or 44 Request all cores per node
#SBATCH --mem=0               # Request all memory per node
#SBATCH --ntasks-per-node=1   # Do not change this value

module load StdEnv/2020       # Uncomment for 15.04.010 or newer versions

# module load starccm/14.06.013-R8
# module load starccm-mixed/14.06.013
# module load starccm/15.04.010-R8
module load starccm-mixed/15.04.010

export LM_PROJECT='YOUR CD-ADAPCO PROJECT ID GOES HERE'
export CDLMD_LICENSE_FILE="1999@flex.cd-adapco.com"

export STARCCM_TMP="${SCRATCH}/.starccm-${EBVERSIONSTARCCM}"
mkdir -p "$STARCCM_TMP"

slurm_hl2hl.py --format STAR-CCM+ > machinefile

NCORE=$((SLURM_NTASKS * SLURM_CPUS_PER_TASK))

# Append -fabric psm2 to next line when using module versions 15.04.010 or newer ...

starccm+ -jvmargs -Xmx4G -jvmargs -Djava.io.tmpdir=$SLURM_TMPDIR -batch -power -np $NCORE -podkey $LM_PROJECT -licpath $CDLMD_LICENSE_FILE -machinefile $PWD/machinefile $PWD/your-file.sim -mpi intel -fabric psm2
File : starccm_job.sh

#!/bin/bash
#SBATCH --account=def-group   # Specify some account
#SBATCH --time=00-01:00       # Time limit: dd-hh:mm
#SBATCH --nodes=2             # Specify 1 or more nodes
#SBATCH --cpus-per-task=40    # or 80 to use HyperThreading
#SBATCH --ntasks-per-node=1   # Do not change this value

cd $SLURM_SUBMIT_DIR

module purge --force
module load CCEnv
module load StdEnv
module load starccm/14.06.013-R8

export LM_PROJECT='YOUR CD-ADAPCO PROJECT ON DEMAND KEY GOES HERE'
export CDLMD_LICENSE_FILE="1999@localhost"
ssh nia-gw -L 1999:flex.cd-adapco.com:1999 -L 2099:flex.cd-adapco.com:2099 -N -f

export STARCCM_TMP="${SCRATCH}/.starccm-${EBVERSIONSTARCCM}"
mkdir -p "$STARCCM_TMP"

# ln -s $STARCCM_TMP $HOME  ### only the first time you run the script

slurm_hl2hl.py --format STAR-CCM+ > machinefile

NCORE=$((SLURM_NTASKS * SLURM_CPUS_PER_TASK))

starccm+ -batch -power -np $NCORE -podkey $LM_PROJECT -licpath $CDLMD_LICENSE_FILE -machinefile $PWD/machinefile $PWD/your-file.sim

Visualisation à distance

Pour visualiser à distance, donnez d'abord les détails de votre licence.

  1. Créez le fichier de licence ~/.licenses/starccm.lic comme décrit ci-dessus.
  2. Les utilisateurs d'un PodKey doivent aussi configurer leur environnement avec export LM_PROJECT='CD-ADAPCO PROJECT ID'

Nœuds des grappes

o Utiliser les modules de Calcul Canada

Connectez-vous à un nœud de calcul ou à un nœud de connexion avec TigerVNC et
  1. module load starccm-mixed (ou starccm)
  2. starccm+ -np 4 inputfile.sim

The following module versions are currently broken for interactive graphics mode on cluster compute and cluster login nodes: starccm-mixed/11.06.011, starccm/11.06.011-R8, starccm-mixed/12.04.011, starccm/12.04.011-R8, starccm-mixed/12.06.011, starccm-mixed/13.06.012 and starccm/13.06.012-R8. Please use one of the other module versions instead until they are fixed at which time this message will be removed.

Nœuds VDI

o Utiliser les modules de Calcul Canada

Connectez-vous à gra-vdi avec TigerVNC et
  1. module load CcEnv StdEnv
  2. module avail starccm
  3. module load starccm-mixed/14.06.013 (or starccm/14.06.013-R8)
  4. starccm+ -clientldpreload /usr/lib64/VirtualGL/libvglfaker.so -np 4 inputfile.sim

o Utiliser les modules gra-vdi

Connectez-vous à gra-vdi avec TigerVNC et
  1. export CDLMD_LICENSE_FILE=~/.licenses/starccm.lic
  2. module load SnEnv
  3. module load starccm/mixed/14.04.013 (or starccm/r8/14.04.013)
  4. starccm+ -np 4 inputfile.sim

Message Passing Interface

Retrieved from "https://docs.alliancecan.ca/mediawiki/index.php?title=Star-CCM%2B/fr&oldid=90654"