Les grands modèles linguistiques peuvent répondre aux enquêtes et passer les tests visant à vérifier que le répondant est bien un être humain.
Les sondeurs sont en train de griller leurs neuf vies. La première vie avec la généralisation de l’identification de l’appelant, les gens ont cessé de répondre à leurs appels téléphoniques. Les taux de réponse ont chuté à moins de 10 %. Ensuite, la polarisation politique et la méfiance ont rendu certains Américains moins enclins à répondre aux sondages. Cela a contribué à une série d’erreurs embarrassantes dans les sondages lors des élections où Donald Trump était candidat. Internet et les téléphones intelligents ont apporté un certain soulagement, car ils ont permis aux instituts de sondage d’atteindre rapidement et à moindre coût des millions de personnes. Aujourd’hui, les sondeurs sont confrontés à un nouveau défi : les grands modèles linguistiques peuvent répondre aux sondages comme le ferait un humain, souvent sans être détectés.
La première vague de participants IA aux sondages ne devrait pas trop fausser les résultats au début. Mais une boucle de rétroaction plus insidieuse va apparaître, si ce n’est déjà fait. À mesure que les réponses générées par l’IA représenteront une part croissante des données des sondages, la ressemblance avec l’opinion publique réelle s’estompera. Et les dégâts ne se limiteront pas aux sondages politiques. Ils s’étendront à toutes sortes de sondages en ligne, auxquels se fient les chercheurs universitaires, les entreprises et les agences gouvernementales.
Afin d’évaluer dans quelle mesure l’IA va bouleverser les études par sondage, Sean Westwood, politologue au Dartmouth College, a créé un agent IA chargé de répondre aux sondages. M. Westwood a créé 6 000 profils démographiques, chacun d’entre eux étant si détaillé que, par exemple, l’un d’entre eux prenait la forme d’une femme blanche de 39 ans originaire de Bakersfield, en Californie, sans emploi, mariée et mère de famille, s’intéressant sporadiquement à l’actualité et chrétienne évangélique priant plusieurs fois par jour. Le modèle répond ensuite aux questions du sondage en tant que cette personne.
Les sondeurs sont en train de griller leurs neuf vies. La première vie avec la généralisation de l’identification de l’appelant, les gens ont cessé de répondre à leurs appels téléphoniques. Les taux de réponse ont chuté à moins de 10 %. Ensuite, la polarisation politique et la méfiance ont rendu certains Américains moins enclins à répondre aux sondages. Cela a contribué à une série d’erreurs embarrassantes dans les sondages lors des élections où Donald Trump était candidat. Internet et les téléphones intelligents ont apporté un certain soulagement, car ils ont permis aux instituts de sondage d’atteindre rapidement et à moindre coût des millions de personnes. Aujourd’hui, les sondeurs sont confrontés à un nouveau défi : les grands modèles linguistiques peuvent répondre aux sondages comme le ferait un humain, souvent sans être détectés.
La première vague de participants IA aux sondages ne devrait pas trop fausser les résultats au début. Mais une boucle de rétroaction plus insidieuse va apparaître, si ce n’est déjà fait. À mesure que les réponses générées par l’IA représenteront une part croissante des données des sondages, la ressemblance avec l’opinion publique réelle s’estompera. Et les dégâts ne se limiteront pas aux sondages politiques. Ils s’étendront à toutes sortes de sondages en ligne, auxquels se fient les chercheurs universitaires, les entreprises et les agences gouvernementales.
Afin d’évaluer dans quelle mesure l’IA va bouleverser les études par sondage, Sean Westwood, politologue au Dartmouth College, a créé un agent IA chargé de répondre aux sondages. M. Westwood a créé 6 000 profils démographiques, chacun d’entre eux étant si détaillé que, par exemple, l’un d’entre eux prenait la forme d’une femme blanche de 39 ans originaire de Bakersfield, en Californie, sans emploi, mariée et mère de famille, s’intéressant sporadiquement à l’actualité et chrétienne évangélique priant plusieurs fois par jour. Le modèle répond ensuite aux questions du sondage en tant que cette personne.
Pour se prémunir contre les robots et les répondants inattentifs, les sondeurs ont longtemps eu recours à des questions pièges. Ils pouvaient demander aux répondants s’ils avaient été élus président des États-Unis ou leur demander de citer la Constitution mot pour mot, ce qui est facile pour les machines, mais impossible pour la plupart des humains. Les recherches de M. Westwood montrent que ces tactiques ne fonctionnent plus. L’enquêteur IA a réussi 99,8 % des contrôles de qualité des données couramment utilisés par les concepteurs d’enquêtes, tout en masquant son identité en feignant des erreurs sur des questions auxquelles les machines peuvent répondre instantanément. Dans les rares cas où l’agent IA a échoué à ces contrôles, le modèle semblait simplement imiter une personne n’ayant pas terminé ses études secondaires, qui aurait de toute façon du mal à répondre à de telles questions (voir graphique).
Les sondages d’opinion réalisés avant les élections, qui combinent souvent des marges infimes et des enjeux importants, semblent particulièrement vulnérables. Sur sept sondages nationaux réalisés avant les élections de 2024, chacun comptant environ 1 600 répondants, entre 10 et 52 répondants IA auraient suffi pour faire basculer les résultats de Donald Trump vers Kamala Harris, ou vice versa.
Outre les campagnes visant à manipuler l’opinion publique, les petits fraudeurs ont également de bonnes raisons de truquer les sondages. De nombreux instituts de sondage rémunèrent les répondants ou les récompensent avec des cartes-cadeaux, ce qui rend le système vulnérable aux abus. Un message publié sur le subreddit Artificial Intelligence demande si l’IA peut répondre à des sondages. « Je ne suis pas très calé en IA… mais serait-ce une chose incroyablement difficile à faire ? », demande l’utilisateur. « L’IA pourrait littéralement vous faire gagner de l’argent en répondant à des sondages 24 heures sur 24, 7 jours sur 7, pendant que vous ne faites rien. »
Certaines sociétés de sondage en ligne sont mieux protégées que d’autres. Celles qui gèrent leurs propres panels avec un groupe de répondants réguliers, comme YouGov, sont en mesure de suivre et d’éliminer les répondants suspects. Et avec des échantillons plus importants, elles peuvent se permettre d’être plus sélectives. Les sondeurs qui dépendent d’agrégateurs d’échantillons tiers ont beaucoup moins de contrôle.
Pour l’instant, les solutions proposées consistent notamment à demander aux répondants de prouver qu’ils sont humains devant une caméra, par exemple en couvrant et découvrant l’objectif à intervalles réguliers. Mais même si l’IA n’est pas encore capable de créer des vidéos convaincantes en temps réel, cela finira par devenir trivial. Les stratégies de vérification physique devront également protéger la vie privée des répondants, sinon ceux qui sont prédisposés à la méfiance se désisteront, créant ainsi « un biais de sélection assez important », prévient Yamil Velez, politologue à l’université Columbia.
Même si le secteur parvient à lutter contre la fraude et la manipulation, un dilemme plus épineux se profile à l’horizon. Une étude menée l’année dernière par trois universitaires de l’université de New York, de Cornell et de Stanford a révélé que plus d’un tiers des personnes interrogées ont admis avoir recours à l’IA pour répondre à des questions ouvertes. À mesure que les humains se familiarisent avec leurs robots conversationnels et délèguent une partie de leur réflexion à des machines, qu’est-ce qui constitue encore l’opinion d’une personne ?
Source : The Economist
