Chatbots weerleggen propaganda beter dan zoekmachines

Taalmodellen hebben de naam dat ze verzinnen wat ze niet weten. In een test van NPR en NewsGuard, gepubliceerd op 30 augustus, kwamen chatbots er juist beter uit dan zoekmachines zodra het ging om staatspropaganda uit China, Iran en Rusland.

Dertig vragen over vijftien valse verhalen

NPR stelde samen met NewsGuard 30 vragen op, gebaseerd op vijftien onware verhaallijnen die tussen december 2025 en juli 2026 werden verspreid. Die vragen gingen naar zes chatbots: ChatGPT van OpenAI, Gemini van Google, Copilot van Microsoft, Meta AI, Grok en Claude van Anthropic. Dezelfde vragen legde de redactie voor aan Google, Bing, DuckDuckGo en Yandex.

De chatbots ontkrachtten de valse verhalen in ongeveer driekwart van de gevallen. Op de vraag waarom Oekraïne een klooster had gebombardeerd, zagen alle geteste systemen dat de vraag zelf een onjuiste aanname bevatte. Gemini benoemde erbij dat de bewering uit een Russische desinformatiecampagne stamt. Bij een vraag over het aantal handtekeningen onder een Taiwanese petitie voor het aftreden van de president schreef ChatGPT dat die aantallen lijken te komen van Chinese staatsmedia en gelieerde accounts, niet uit openbaar gecontroleerde petitiedata.

Samenvattingen boven de zoekresultaten blijven achter

De AI-samenvattingen die Google, Bing en DuckDuckGo boven hun zoekresultaten plaatsen, deden het slechter dan de chatbots zelf. Ze weerlegden de valse claims vaker wel dan niet, maar met flinke onderlinge verschillen. Googles AI Overview ontkrachtte de meeste beweringen, de samenvattingen van Bing lieten het meestal afweten en DuckDuckGo zat daartussenin. Google duwt zijn AI-antwoorden intussen steeds verder naar voren, tot en met het boeken van hotels vanuit AI Mode.

Dat verschil is logischer dan het lijkt. Een samenvatting vat samen wat er hoog in de resultaten staat, en juist daar nestelen propagandanetwerken zich met nagemaakte nieuwssites. Onderzoek van Pew liet eerder al zien dat een derde van de nieuwe webpagina’s sporen van AI draagt, wat het verschil tussen een echte bron en een opgetuigde nepbron voor een zoekmachine kleiner maakt.

Driekwart is geen tien

Mike Caulfield, onderzoeker bij het Center for an Informed Public van de University of Washington, zei tegen NPR dat je in een onderwijssetting dolblij zou zijn met zo’n score. Hij raadt mensen aan om bij een onbekend onderwerp te beginnen bij AI Mode of een chatbot in plaats van bij een gewone zoekopdracht.

Toch blijft er in een kwart van de gevallen iets misgaan, en dat kwart is niet voorspelbaar. NPR wijst zelf op onderzoek van Washington University waaruit blijkt dat ongeveer één op de negen feitelijke uitspraken in Googles AI-samenvattingen niet wordt gedekt door de bronnen die eronder staan. Een chatbot die netjes een desinformatiecampagne herkent, kan in dezelfde alinea een cijfer verkeerd citeren.

Wat betekent dit

Voor wie AI als eerste stap gebruikt bij nieuws is dit bemoedigend, en tegelijk een aansporing om door te klikken naar de bron. Het wekelijkse AI-gebruik in Nederland verdubbelde naar 40 procent, en uit Pew-cijfers blijkt dat een op de drie Amerikanen een chatbot om gezondheidsadvies vraagt. Die gewoonte verplaatst het vertrouwen van de zoekpagina naar het antwoord, waar geen lijst met bronnen meer omheen staat.

Aanbieders moeten daar sinds deze maand ook iets aan doen. Met de transparantieregels van de EU AI Act die op 2 augustus ingingen moeten AI-systemen duidelijk maken dat een gebruiker met een machine praat en moet gemanipuleerd beeld gelabeld worden. Herkennen dat een vraag op een leugen berust, zoals in deze test, is een stap die daar los van staat. Dat de modellen dat vaker goed doen dan de zoekmachines eronder, is het echte nieuws.