Nous avons une petite grille de calcul sur laquelle vous pouvez lancer des tâches. Cette grille utilise slurm, qui est le même système que celui utilisé à l'alliance de recherche numérique du Canada (anciennement calcul Canada). Cependant, nos ressources sont beaucoup plus limitées et la configuration du système est différente. Par contre, l'utilisation est très similaire et la majorité des informations sur la page de soumission de tâches du wiki est valide. https://docs.computecanada.ca/wiki/Running_jobs/fr

Voici une description sommaire des machines qui sont disponibles dans la grille de calcul.

• 11 machines Dell PowerEdge R740
• 512Go de mémoire
• 2 processeurs Intel Xeon Gold 6258R CPU @ 2.70GHz (56 coeurs total)

Ces machines sont séparées en 2 partition:

• optimum: tâches d'une durée maximale de 48 heures. 10 machines;
• optimumlong: tâches d'une durée maximale de 7 jours. 1 machine.

Aucune pour le moment.

Pour soumettre une tâche, vérifiez si le programme sbatch est disponible. Si oui, vous pouvez soumettre les tâches à partir de votre poste de travail. Sinon, contactez nous.

Cette commande permet de voir l'état de la grille de calcul et les durées maximales des partitions. On peut voir par exemple s'il y a des machines en panne, s'il y a des machines libres ou si des machines ont été suspendue du système pour entretien.

PARTITION   AVAIL  TIMELIMIT  NODES  STATE NODELIST
optimum*       up 2-00:00:00      1    mix optimum01
optimum*       up 2-00:00:00      9   idle optimum[02-10]
optimumlong    up 7-00:00:00      1   idle optimum11

Dans cet exemple, on voit que toutes les machines sont disponibles et 1 seule a des tâches.

• idle: ces machines sont entièrement disponibles
• mix: ces machines sont utilisées en partie
• drain: ces machines sont en maintenance

Cette commande est utilisée pour voir les tâches qui sont dans le système. Par défaut, si vous ne donnez aucune option, vous verrez les tâches de tout le monde. Vous pouvez utiliser l'option `-u` pour spécifier votre nom d'utilisateur.Vous pouvez utiliser la variable `SQUEUE_FORMAT` pour changer l'affichage par défaut de la commande. Par exemple à l'alliance ils utilisent:

bash

export SQUEUE_FORMAT="%.15i %.8u %.12a %.14j %.3t %.10L %.5D %.4C %.10b %.7m %N (%r)"

Commande pour soumettre une tâche à la grille de calcul. On peut mettre les paramètre dans le script de soumission ou les passer sur la ligne de commande ou faire une combinaison des 2. Voici un exemple de script:

bash

#!/bin/bash
#SBATCH --cpus-per-task=1
#SBATCH --mem=16G
#SBATCH --time=00:10:00
#SBATCH --output=/dev/null

./ubsp -m 3 -n 250 | ./gencol

sleep 60

• –cpus-per-task: nombre de processeurs qui seront utilisés par le programme. Il est important que ce nombre concorde avec ce que le programme fait. Certains logiciels comme cplex et gurobi tentent d'utiliser tous les processeurs à moins qu'ils soient restreints. Dans cet exemple, on aurait cplex qui fera tourner 56 fils parallèles qui vont tous s'exécuter sur un seul processeur ce qui n'est pas la bonne façon de faire.
• –mem: la mémoire dont le programme a besoin. Si cette mémoire est exédée, la tâche est annulée.
• –time: le temps requis pour compléter la tâche. Si on dépasse cette limite, la tâche est annulée.
• –output: pour spécifier le nom du fichier qui contiendra la sortie du programme. Dans ce cas spécifique, on envoie cette sortie dans /dev/null ce qui a pour effet qu'il n'en reste aucune trace. Si vous avez besoin de cette sortie assurez-vous de minimiser la quantité d'information affichées
• –partition: partition à utiliser. Par défaut, ce sera optimum.

Les paramètres que vous choisissez seront utilisés pour voir quelles ressources sont disponibles pour lancer la tâche. Bien qu'il n'y ait pas de limite en tant que tel, plus vous demandez, plus vous allez attendre parce qu'il sera plus difficile d'obetnir ces ressources. De plus, le système de facturation prendra en compte les ressources réservées et appliquera un facteur de correction pour la priorité pour les tâches qui sont encore en attente.

Programme pour annuler une ou plusieurs tâches. Exemple:

bash

scancel 1234
scancel -u usager

Cette commande permet d'avoir plus d'information sur une tâche spécifique. Les champs disponibles peut être affichés avec l'option `-e` et ensuite utilisés soit avec l'option `--format`.

Le rrogramme permet aussi d'avoir des informations sur des tâches terminées si on connaît le numéro et que l'information est encore disponible dans la base de données.

Pour voir de plus anciennes tâches, on peut spécifier une date de départ

sacct --starttime 2022-04-17 --format=Account,User,JobID,Start,End,AllocCPUS,Elapsed,AllocTRES%30,CPUTime,AveRSS,MaxRSS,MaxRSSTask,MaxRSSNode,NodeList,ExitCode,State%20

La variable d'environnement `SACCT_FORMAT` permet de définir un format si on souhaite pas le spécifier à chaque exécution du programme. L'exemple suivant est le format utilisé à l'alliance.

bash

export SACCT_FORMAT=Account,User,JobID,Start,End,AllocCPUS,Elapsed,AllocTRES%30,CPUTime,AveRSS,MaxRSS,MaxRSSTask,MaxRSSNode,NodeList,ExitCode,State%20

similaire à sacct mais pour les tâches qui sont présentement en exécution. Cette commande ne fonctionne que sur les tâches que vous avez lancé.

Cette grille est discontinuée. Les informations sont seulement rendues disponibles comme référence.

Caractéristiques techniques :

• 26 ordinateurs + 1 machine frontale
• 2 processeurs Intel(R) Xeon(R) X5675 @ 3.07GHz
• 96Go mémoire vive

Caractéristiques techniques :

• 1 ordinateur
• 8 processeurs Intel(R) Xeon(R) E7-8837 @ 2.67GHz
• 1To mémoire vive