AI-detectors beschuldigen schrijvers ten onrechte

Wie vandaag een tekst inlevert, loopt het risico dat software zegt dat het geen mensenwerk is. NPR publiceerde op 31 oktober een reportage over schrijvers die door AI-detectors ten onrechte zijn aangemerkt. Een dag eerder beschreef Bloomberg hoe auteurs en studenten hun stijl aanpassen om zulke tools te ontlopen. In beide stukken staat Pangram centraal, een detector die steeds meer redacties gebruiken.

Een ghostwriter die het niet kon bewijzen

De Amerikaanse ghostwriter Sally McGraw schrijft al ruim twintig jaar non-fictie. Toen ze solliciteerde naar een opdracht voor een boekvoorstel, haalde de opdrachtgever haar proeftekst door meerdere AI-detectors. Die kwamen tot hetzelfde oordeel: machinaal gegenereerd. “Ik had geen AI gebruikt om de tekst te maken”, zegt McGraw tegen NPR. De opdrachtgever noemt ervaring en klik doorslaggevend. McGraw denkt zelf dat de uitslag haar de klus heeft gekost.

Ze schrijft nu anders. Sommige woorden en zinsconstructies vermijdt ze, soms laat ze komma’s weg. “Ik mis mijn gedachtestreepje”, zegt ze.

Waar detectors op letten

Chris Callison-Burch, hoogleraar aan de University of Pennsylvania, legt aan NPR uit dat veel detectors een taalmodel laten inschatten hoe voorspelbaar een passage is. Tekst die al in de trainingsdata zat, vindt zo’n model ook voorspelbaar, waardoor eerder gepubliceerd werk als AI kan worden aangemerkt.

Detectors kijken ook naar stijl. Volgens data van Pangram, die Bloomberg aanhaalt, bevat AI-tekst gemiddeld 17 gedachtestreepjes per 10.000 woorden, tegen 2 bij menselijke schrijvers. Het Engelse woord “delve” komt bij AI zo’n 30 keer per 10.000 woorden voor, bij mensen 3 keer. Schrijvers die Pangram zelf uitprobeerden, merkten dat het vervangen van één gedachtestreepje door een dubbele punt de uitslag kon laten omslaan van 100 procent AI naar 100 procent mens.

Wetenschapsblogger Janelle Shane liet eind 2022 fragmenten uit haar eigen boek uit 2019 controleren. Eén detector was voor 98,7 procent zeker dat de tekst machinaal was. “Ik had deze tekst zelf geschreven”, zei Shane tegen NPR.

Redacties onder druk

De vraag naar detectie komt ergens vandaan. Neil Clarke, uitgever van het sciencefictionblad Clarkesworld, kreeg in 2021 zo’n 1.100 inzendingen per maand. In februari 2023 was dat aantal verdubbeld en sloot hij tijdelijk de inzendingen. “Het heeft wantrouwen in het proces gebracht”, zegt hij. Clarke gebruikt zelf geen detectors. Een twijfelachtige inzending wijst hij af zonder de schrijver iets te verwijten.

Eerder schreven we dat bijna een derde van het web door AI is geschreven, en in Den Haag ontstond ophef toen Nieuwsuur meldde dat vijf kabinetsspeeches bijna volledig door AI waren opgesteld.

Pangram scoort in onderzoek relatief goed. Een studie uit juni in het International Journal for Educational Integrity testte vier detectors op 160 academische papers. Pangram was het meest consistent en herkende AI in 37 van de 40 gemengde papers. Ceo Max Spero erkent tegenover NPR dat de tool fouten kan maken, vooral bij korte teksten. De Authors Guild waarschuwde in mei dat een vals-positieve uitslag een auteur zijn contract en reputatie kan kosten.

Wat betekent dit

Een detectorscore is een kansinschatting. Bewijs is het niet. Wie teksten beoordeelt, als docent of als redacteur, doet er goed aan zo’n uitslag als aanleiding voor een gesprek te zien. Voor schrijvers is het advies praktischer: bewaar concepten en versiegeschiedenis, zodat je kunt laten zien hoe een tekst is ontstaan.

Technische alternatieven bestaan. OpenAI wil een onzichtbaar watermerk in Europese ChatGPT-teksten stoppen, al bleek bij Anthropic dat het Claude-watermerk juist faalt op korte teksten. Tot zulke systemen betrouwbaar werken, past een deel van de schrijvers zijn stijl aan aan wat software menselijk vindt. Een vreemde uitkomst voor tools die menselijk schrijfwerk moesten beschermen.