Le théorème de convergence des presque surmartingales de Robbins et Siegmund (1971) constitue un résultat fondamental pour l’analyse de convergence de nombreux algorithmes itératifs stochastiques intervenant en identification des systèmes, commande adaptative, apprentissage automatique et apprentissage par renforcement. Néanmoins, sa formulation originale se limite aux processus stochastiques scalaires. Dans cet article, nous proposons une généralisation du théorème de Robbins–Siegmund au cadre des processus stochastiques vectoriels non négatifs et établissons plusieurs conditions suffisantes garantissant leur convergence presque sûre, en nous appuyant notamment sur l’étude de la convergence de produits infinis de matrices. Nous illustrons ensuite l’intérêt de ce cadre en introduisant la notion de presque surmartingale autorégressive, que nous appliquons à l’analyse de la convergence presque sûre de méthodes de descente de gradient stochastique en prenant en compte le retard dans les mises à jour.