Retour

G-2026-30

LLM human response alignment via multi-sample debiasing

et

référence BibTeX

Les grands modèles de langage sont de plus en plus utilisés comme substituts de répondants humains dans les expériences en sciences sociales, en comportement et en marketing, mais leurs réponses synthétiques divergent systématiquement des réponses humaines. Nous étudions une approche de débiaisage post-hoc qui garde le modèle figé et apprend un estimateur externe afin d'aligner les réponses du modèle sur les réponses humaines. Nous modélisons les réponses humaines et celles du modèle comme des distributions latentes afin de capturer leur hétérogénéité. Les deux distributions sont toutefois observées de manière asymétrique, car le coût de collecte limite le côté humain à peu d'observations par individu, alors que le modèle peut être interrogé à faible coût. Les pipelines existants réduisent le côté LLM à un scalaire avant correction et perdent le signal distributionnel fourni par des requêtes répétées. Nous utilisons plutôt le vecteur complet des réponses LLM comme variable d'entrée d'un module de débiaisage, pour des tâches au niveau de la population et de l'individu. Sous une perte quadratique, nous motivons ce choix par un argument informationnel montrant que le vecteur complet domine faiblement toute compression au sens du risque de Bayes, avec une domination stricte lorsque la cible dépend d'informations au-delà de la moyenne. Sur trois jeux de données, la méthode obtient la meilleure valeur dans la majorité des cellules de métriques et améliore aussi l'alignement distributionnel.

, 27 pages

Axes de recherche

Application de recherche

Document

G2630.pdf (750 Ko)