Chatbot herhaalt onwaarheid in tot 12 procent van gesprekken

Een chatbot die in een kort testje het juiste antwoord geeft, kan tijdens een langer gesprek alsnog omvallen. Onderzoekers van de University of Arizona publiceerden vandaag in Scientific Reports (onderdeel van Nature) een studie waarin zeven taalmodellen werden blootgesteld aan aanhoudende druk van onjuiste beweringen. Het percentage antwoorden waarin een model de onwaarheid bevestigde liep uiteen van 0,08 tot 12,3 procent.

Drie manieren om een model te laten struikelen

Het team, geleid door Marvin Slepian en met onder anderen computerwetenschapper Mihai Surdeanu, testte drie eigenschappen apart. Feilbaarheid: gaat het model mee als een gebruiker dezelfde onjuiste bewering blijft herhalen? Overtuigbaarheid: bezwijkt het als de gebruiker steeds sterkere argumenten opbouwt? En corrigeerbaarheid: herkent het model zijn eigen fout als het een tweede kans krijgt?

Die opzet verschilt van de gangbare benchmarks, waarin een model een losse vraag krijgt en meteen wordt afgerekend op het antwoord. Volgens de auteurs komen er in langere gesprekken zwaktes boven die bij een enkele beurt onzichtbaar blijven.

Claude 3.5 Sonnet het stevigst, GPT-3.5 het zwakst

Getest werden ChatGPT in drie varianten (GPT-3.5, GPT-4o en GPT-4o-mini), Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama-3-70B en DeepSeek-R1. GPT-3.5 ging het vaakst mee in herhaalde onjuistheden, Claude 3.5 Sonnet het minst vaak. DeepSeek bleek het gevoeligst voor opgevoerde argumentatiedruk, wat de onderzoekers deels toeschrijven aan sarcastische reacties van het model die als instemming werden geteld.

Een tweede patroon gold voor alle zeven: hoe obscuurder het onderwerp, hoe makkelijker het model meeboog. Dat wijst erop dat de hoeveelheid trainingsdata over een thema bepaalt hoe stevig een model in zijn schoenen staat. Wie een model bevraagt over een niche waar weinig over geschreven is, krijgt dus een kwetsbaarder gesprekspartner dan de score op een algemene benchmark suggereert.

Zelfcorrectie zegt weinig over foutkans

De uitkomst op corrigeerbaarheid is het meest ongemakkelijk. Vier modellen herstelden hun eigen fout in 100 procent van de gevallen. Maar juist het model met de laagste foutkans corrigeerde geen enkele van zijn zeldzame missers. Zelden fout zitten en je vergissing kunnen terugnemen zijn dus losse eigenschappen, en een model dat op papier het beste scoort kan in de praktijk het lastigst bij te sturen zijn.

Slepian waarschuwt in de begeleidende toelichting bij het onderzoek, opgetekend door TechXplore, voor het gevaar van blind vertrouwen en wijst op de noodzaak van zorgvuldige menselijke betrokkenheid.

Wat betekent dit

De geteste modellen zijn inmiddels een generatie oud. GPT-3.5 en Claude 3.5 Sonnet staan ver af van wat er nu draait, dus de exacte percentages zeggen weinig over de huidige lichting. De meetmethode is de echte opbrengst: gesprekslengte als testvariabele in plaats van losse vragen.

Dat is relevant nu chatbots doordringen in domeinen waar een fout consequenties heeft. ChatGPT kreeg deze week leesrechten in patiëntendossiers van Epic, en toezichthouders worstelen met de vraag hoe ver AI in het klaslokaal mag gaan, zoals bij het verbod in New York voor de jongste leerlingen. In zulke situaties voert een gebruiker zelden één vraag in en klapt de laptop dicht. Er ontstaat een dialoog, met herhaling, weerwoord en aandringen. Precies de omstandigheden waarin dit onderzoek de scheuren vond.

Voor wie AI dagelijks gebruikt is de praktische les simpel: blijf je eigen bron controleren, zeker bij specialistische onderwerpen. Dat een model meebeweegt met wat je zegt is geen bewijs dat je gelijk hebt. Het risico van tekst die klopt zonder te kloppen speelt inmiddels breder, van AI-sporen op het open web tot discussies over wat modellen letterlijk reproduceren.