GPU NVIDIA

GPU disponible

Pour voir quels sont les GPU disponibles,

nvidia-smi

Processus relié au GPU

Parfoit nvidia-smi n'affiche pas que le GPU est utilisé alors qu'il est inaccessible, on peut sortir la liste des processus qui utilisent les GPUs, et qui n'ont pas terminés correctement.

lsof /dev/nvidia*

Ensuite on tue les process sur le GPU bloqué.

kill ProcessPIDNumber

Limiter le nombre de GPU utilisés

Si le serveur contient 4 GPUs [0,1,2,3]

CUDA_VISIBLE_DEVICES=numero_GPU python monprogram.py

ex

CUDA_VISIBLE_DEVICES=1 python monprogram.py

Tout dépendant de l'application, il est possible que le programme utilise tous les GPU ce qui n'est pas souhaitable la plupart du temps. Dans d'autres cas, si la variable CUDA_VISIBLE_DEVICES n'est pas spécifiée c'est le GPU 0 qui va être utilisé par défaut et il est très possible que celui-ci soit occupé alors que d'autres sont disponibles.