Pour voir quels sont les GPU disponibles,

nvidia-smi

Parfoit nvidia-smi n'affiche pas que le GPU est utilisé alors qu'il est inaccessible, on peut sortir la liste des processus qui utilisent les GPUs, et qui n'ont pas terminés correctement.

lsof /dev/nvidia*

Ensuite on tue les process sur le GPU bloqué.

kill ProcessPIDNumber

Si le serveur contient 4 GPUs [0,1,2,3]

CUDA_VISIBLE_DEVICES=numero_GPU python monprogram.py

ex

CUDA_VISIBLE_DEVICES=1 python monprogram.py 

Si la variable CUDA_VISIBLE_DEVICES n'est pas spécifier c'est le GPU 0 qui va être utilisé par défaut.