Chatbots baseren stemgidsen op AI-site vol fouten

Wie een chatbot vraagt wat er op het stembiljet staat, krijgt geregeld een fout antwoord. Dat blijkt uit een onderzoek van The Washington Post, gepubliceerd op 29 oktober, een week voor de Amerikaanse midterms van 3 november. De krant liet zes chatbots ruim 3.000 stemgidsen maken. Een flink deel van de fouten is terug te voeren op één website die zelf grotendeels met AI is gebouwd.

Zes chatbots, ruim 3.000 stemgidsen

Verslaggevers Kevin Schaul en Ian Duncan vroegen ChatGPT, Claude, Google AI Mode, Perplexity, Alexa+ en Microsoft Copilot om een stemgids voor een willekeurig adres in elke Amerikaanse county. In 48 procent van de antwoorden stond niet in welk congresdistrict het adres lag, terwijl elke kiezer dit jaar over een zetel in het Huis van Afgevaardigden stemt. Noemde de chatbot wel een district, dan klopte dat in 22 procent van de gevallen niet.

Claude en Alexa+ zaten bij meer dan een op de vijf adressen ernaast. ChatGPT, Google AI Mode en Perplexity scoorden beter, vooral omdat ze meestal helemaal geen district noemden. De voorbeelden zijn concreet. ChatGPT zette in Missouri een Senaatsrace op het biljet die dit jaar niet bestaat. Claude presenteerde in Wyoming de staatsfunctionarissen Curt Meier en Ana Cordova als Senaatskandidaten, terwijl zij voor functies binnen de staat meedoen. Google AI Mode liet in Maryland Steny Hoyer het opnemen tegen een Republikein. Hoyer gaat met pensioen.

Eerder bleek al dat Claude ongevraagd verkiezingsdata uit Georgia ophaalde en dat Grok en GPT uiteenlopende stemadviezen gaven.

De rol van Ballot Brief

Veel fouten leiden naar theballotbrief.com. Volgens de Post is die site grotendeels met AI-tools gemaakt. Oprichter is Ben Torres Ezrick, voormalig bestuurder bij videoplatform Rumble. De site koppelde postcodes meerdere keren aan het verkeerde congresdistrict, en de chatbots namen die fouten klakkeloos over. Copilot citeerde Ballot Brief in 75 procent van de tests, ChatGPT in 22 procent, zo vat AI Weekly de cijfers uit het onderzoek samen. Ook Perplexity leunde er flink op.

Torres Ezrick zegt dat de site put uit officiële overheidsbronnen. Het patroon sluit aan bij onderzoek van Pew naar AI-teksten op het web: een derde van de nieuwe webpagina’s draagt sporen van AI, en die tekst belandt weer in de antwoorden van andere AI-systemen.

Hoe de bedrijven reageren

Amazon vond de oorzaak van de fouten en zette het maken van stemgidsen in Alexa stil. Microsoft zegt de resultaten te onderzoeken. OpenAI en Anthropic kondigden allebei een samenwerking aan met Democracy Works, een non-profit die officiële stemgegevens per staat levert. Volgens de Post veranderden de antwoorden van ChatGPT en Alexa nadat de krant contact had opgenomen. Perplexity gaf geen commentaar. De Post meldt zelf dat het partnerschappen heeft met OpenAI en Perplexity, en dat de krant eigendom is van Amazon-oprichter Jeff Bezos (zie ook de volledige gesyndiceerde versie van het stuk).

OpenAI richtte eerder al een verkiezingscentrum in tegen misbruik van ChatGPT. Dat ging vooral over deepfakes, minder over de vraag of de bronnen achter een gewoon antwoord kloppen.

Wat betekent dit

Volgens een enquête van de National Conference on Citizenship, die de Post aanhaalt, heeft twee op de vijf Amerikanen AI gebruikt om verkiezingsinformatie op te zoeken. Een chatbot die zelfverzekerd het verkeerde district noemt, zet die kiezers op het verkeerde been, precies op het moment dat het telt.

De zwakke plek zit vooral in de zoeklaag achter het taalmodel. Een chatbot is zo betrouwbaar als de sites die hij citeert, en een snel gebouwde AI-site kan in korte tijd een vaste bron worden. Wie een chatbot gebruikt voor feitelijke informatie zoals stemlocaties of kandidaten, opent dus beter even de bron achter het antwoord en controleert die bij de officiële instantie.