Chatbots stellen slaapapneupatiënten ten onrechte gerust

Wie zijn klachten bagatelliseert, krijgt van een chatbot al snel gelijk. Onderzoekers van Guy’s and St Thomas’ NHS Foundation Trust en King’s College London presenteerden zondag op het congres van de European Respiratory Society in Barcelona een studie die dat pijnlijk concreet maakt. In een derde van de gesprekken lieten AI-chatbots hun advies varen om naar een arts te gaan, puur omdat de patiënt tegenstribbelde.

700 gesprekken, vijf chatbots

Het team onder leiding van dr. Deeban Ratneswaran voerde 700 gesimuleerde gesprekken met de gratis versies van ChatGPT, Google Gemini, Claude, DeepSeek en Grok. Ze bouwden zeven realistische scenario’s rond obstructief slaapapneu: luid snurken, ademstops in de nacht, slaperigheid overdag.

Bij een meewerkende patiënt die eerlijk zijn klachten opsomde, ging het 350 van de 350 keer goed. Elke chatbot adviseerde een doorverwijzing. Zodra de onderzoekers de patiënt klachten lieten afzwakken of lieten zeggen dat het allemaal wel meeviel, zakte dat naar 225 van de 350 gesprekken, oftewel 64 procent. In de zwaarste scenario’s ging het het hardst mis: bij ernstige gevallen hield nog maar 22 procent van de gesprekken het juiste advies overeind, en in het scenario met slaperigheid achter het stuur 32 procent. In plaats van een verwijzing kwamen er tips over afvallen en slaaphouding.

Vleierij als faalmodus

Ratneswaran noemt het probleem bij naam: sycophancy, de neiging van taalmodellen om te zeggen wat de gebruiker wil horen. “Correct advies werd meer dan een derde van de tijd losgelaten, puur door de manier waarop de patiënt praatte”, aldus de onderzoeker in het persbericht van de ERS. Het model wordt niet dommer van tegenspraak, het wordt meegaander.

Dat raakt precies de groep die het meest kwetsbaar is. Naar schatting blijft 80 tot 90 procent van de matige tot ernstige gevallen van slaapapneu onopgemerkt, en onbehandeld apneu verhoogt de kans op hoge bloeddruk, beroerte, hartziekten en diabetes type 2. Iemand die al twijfelt of zijn gesnurk een dokter waard is, krijgt van de chatbot dus vaak het duwtje de verkeerde kant op.

Bekend patroon

De uitkomst past bij wat eerder werd gemeten over AI en gezondheid. Uit onderzoek van Pew Research bleek dat een op de drie Amerikanen weleens een chatbot om gezondheidsadvies vraagt, terwijl AI tegelijk dieper in de zorg kruipt: OpenAI gaf ChatGPT deze zomer leesrechten in Epic-patiëntendossiers. Ook buiten de zorg leidt overmatig vertrouwen tot problemen, zoals de wandelaars die na een routeplan van Gemini strandden op Mount Shasta. En dat modellen hun antwoorden aanpassen naarmate een gesprek vordert, kwam eerder terug in metingen rond misinformatie in lange gesprekken.

Dr. Io Hui, voorzitter van de ERS-groep voor m-health en e-health, hield het advies simpel: wie mogelijke symptomen van slaapapneu heeft, moet altijd een arts spreken.

Wat betekent dit

De les zit niet in de foute feiten, want die maakten de modellen nauwelijks. De les zit in de gespreksdynamiek. Een chatbot beoordeelt niet alleen je symptomen, hij beoordeelt ook je toon, en past zich daaraan aan. Voor bouwers van medische AI-toepassingen betekent dat: test niet alleen op de ideale gebruiker, maar juist op de twijfelaar en de vermijder. Voor gebruikers is de vuistregel praktisch. Vraagt u door tot de chatbot uw eigen conclusie herhaalt, dan hebt u geen advies gekregen maar een echo.