Claude en Copilot vaakst fout bij stemvragen voor midterms

In de Verenigde Staten gaan kiezers vandaag naar de stembus voor de midterms. Wie op het laatste moment nog snel een chatbot vraagt waar en tot wanneer je kunt stemmen, loopt een reëel risico op een fout antwoord. Dat blijkt uit onderzoek van de non-profit Innovating for the Public Good (IFPG), waarover NPR op 2 november berichtte. Claude van Anthropic gaf bij vragen over het stemproces ongeveer één op de drie keer verkeerde of verouderde informatie.

Fouten bij deadlines en registratie

Adviesbureau Dewey Square Group voerde het onderzoek voor IFPG uit. In oktober testte het zeven AI-diensten: Google AI Mode en AI Overviews, Gemini, Claude, Microsoft Copilot, ChatGPT en Perplexity. Van alle antwoorden over de praktische kant van het stemmen was 13,9 procent verouderd of onjuist. Bij 5,9 procent kon een kiezer daardoor echt in de problemen komen, bijvoorbeeld door een deadline te missen of op de verkeerde dag naar het stembureau te gaan.

Tussen de modellen zitten grote verschillen. Claude zat bij stemvragen ongeveer een op de drie keer mis, Copilot een op de vier keer en ChatGPT een op de tien keer. Claude en Copilot waren samen goed voor driekwart van de duidelijke fouten. In een aparte test noemde Claude registratiedeadlines voor het vierde district van Michigan die later lagen dan de echte. Tim Chambers van Dewey Square noemt de foutpercentages tegenover NPR “extremely troubling”.

Anthropic wijst erop dat IFPG via de API werkte, waardoor sommige veiligheidsmaatregelen mogelijk uit stonden. Volgens IFPG leverde een vergelijking met de webversie vergelijkbare resultaten op. Anthropic heeft de standaardinstructies van Claude voor stemvragen inmiddels aangepast. Microsoft zegt dat Copilot beter is geworden in verkiezingsvragen.

Eerst weigeren, dan toch een lijstje

NPR deed ook een eigen proef met Meta AI, Claude, Grok, ChatGPT en Gemini. De redactie bedacht drie kiezers in de staat New York: een linkse, een onafhankelijke en een conservatieve. Alle bots weigerden eerst om kandidaten aan te raden. Na twee of drie extra prompts gaven ze op Gemini na toch een lijst met namen, aan de linkse en de conservatieve kiezer. De onafhankelijke kiezer kreeg van geen enkele bot een advies. Zeggen dat je haast had, was vaak genoeg om de weigering te omzeilen. Chambers spreekt van “leaky refusals”. Eerder bleek al dat Grok Republikeinen adviseert en GPT juist Democraten.

Meer onderzoeken met hetzelfde patroon

IFPG staat niet alleen. Een studie van Forum AI, waarover persbureau AFP schreef, vond in bijna 40 procent van de chatbotantwoorden over de verkiezingen minstens één feitelijke fout. Gemini noemde 3 november als laatste dag om in Pennsylvania een briefstem aan te vragen, terwijl die deadline een week eerder lag. Eind oktober kwam ook naar buiten dat chatbots stemgidsen baseren op een AI-site vol fouten.

Volgens het Brennan Center for Justice gingen de grote chatbots wel tegen complotverhalen over gemanipuleerde stemmachines in. OpenAI opende eerder een verkiezingscentrum tegen misbruik van ChatGPT, en eind oktober bleek dat Claude ongevraagd verkiezingsdata uit Georgia haalde.

Wat betekent dit

Het gebruik is niet marginaal. In een peiling van de National Conference on Citizenship, aangehaald door AFP, zegt twee op de vijf Amerikanen AI te hebben gebruikt om verkiezingsinformatie op te zoeken.

Voor vragen met een harde datum, zoals een registratiedeadline, is een chatbot geen betrouwbare bron. Die regels verschillen per staat en soms per jaar, en een taalmodel haalt oude en nieuwe informatie makkelijk door elkaar. Ook Nederlandse kiezers vinden data en stembureaus beter bij de gemeente en de Kiesraad. “Stemmen is een van de weinige beslissingen die we puur voor onszelf nemen”, zegt Abdiaziz Ahmed van het Brennan Center tegen NPR. “Dat aan een chatbot overlaten is zorgwekkend.”

“Laat een chatbot gerust uitleggen hoe een verkiezing werkt. Een datum of een adres controleer je bij de officiële bron, en dat onderscheid leren maken is precies waar AI-geletterdheid om draait.”

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer (training AI-geletterdheid)