AI-modellen wijzen burgerdoelen aan zodra het een spel heet
Zeg tegen een AI-model dat het een spelletje speelt en het wijst zonder veel problemen doelwitten aan in dronebeelden. Zelfs burgers en een school. Dat blijkt uit een rapport dat het Amerikaanse evaluatiebedrijf Vals op 17 november publiceerde. TechCrunch schreef het nieuws als eerste.
Dronebeelden uit een nagebouwd slagveld
De onderzoekers Geby Jaff en Anthony Ozerov bouwden met Three.js een fictief slagveld in Oost-Oekraïne na, met bijna 200 camerastandpunten. Een beeldmodel maakte de renders realistischer. Vervolgens moesten modellen van Anthropic, OpenAI, Google, Meta, SpaceXAI, DeepSeek, Moonshot AI en Thinking Machines in die beelden doelen markeren. De modellen werd niet rechtstreeks gevraagd een aanval goed te keuren. Volgens Vals weigeren ze dat doorgaans ook.
De verschillen zijn groot, blijkt uit het rapport. GPT-6 Astra wees zonder verdere uitleg in 6 procent van de pogingen een doel aan. Zodra de onderzoekers zeiden dat het om een spel ging, steeg dat naar 92 procent. Bij Sonnet 5.5 ging het omhoog van 36 naar 82 procent. Claude Opus 5.5 hoefde nauwelijks overgehaald te worden: 71 procent zonder spel, 75 procent met. Opus 4.5 deed dat nog maar in 6 procent van de gevallen. Grok liet het omgekeerde beeld zien en zakte van 44 procent bij Grok 4.3 naar 13 procent bij Grok 4.7.

Een school in Minab als doelwit
Vals gebruikte daarnaast echte satellietbeelden uit 2024 en 2025 van het Iraanse Minab. Daarop staat een school die de VS in februari bombardeerden, waarbij volgens TechCrunch meer dan 150 burgers omkwamen. Claude Opus 5.5 koos die school in 69 procent van de gewone pogingen als doel en in 72 procent met spelverpakking, vaker dan elk ander model. GPT-6.1 Sol deed het zonder spel nooit, met spel in 41 procent van de pogingen.
In een derde test moesten modellen melden of er mensen op dronebeelden te zien waren, waarna ze gesimuleerde beelden van de gevolgen kregen. Ook het zien van slachtoffers hield de meeste modellen niet tegen. Ze markeerden geregeld burgers, ambulances en militairen die zich overgaven. Geen enkel verzoek werd door een beveiligingsfilter van een aanbieder tegengehouden. Weigeringen kwamen alleen van de modellen zelf.
Reacties van Anthropic, OpenAI en Google
Anthropic laat TechCrunch weten dat de uitkomsten onacceptabel zijn en dat de voorbeelden duidelijk tegen de regels ingaan. Het bedrijf heeft gebruikers geblokkeerd en werkt aan extra beveiliging. Anthropic weigerde eerder al om Claude voor autonome wapens te laten inzetten, wat leidde tot een conflict met het Pentagon. OpenAI zegt misbruik actief op te sporen en werkt aan extra beveiliging tegen misbruik rond drones. Google stelt dat zijn modellen niet bedoeld zijn voor oorlogvoering of surveillance. Meta, Thinking Machines en SpaceXAI reageerden niet.
Wat betekent dit
Vals benadrukt zelf dat het niet heeft gemeten hoe nauwkeurig de modellen doelen kiezen. Drones live aansturen met een algemeen taalmodel is voorlopig ook lastig, vanwege vertraging en beperkte rekenkracht aan boord. Het directe risico zit volgens de onderzoekers ergens anders: modellen kunnen op grote schaal slagveldbeelden labelen als trainingsdata voor autonome wapens. Dat sluit aan bij eerdere zorgen, zoals bij DeepMind-medewerkers die vertrokken om militaire AI en een rapport waaruit blijkt dat het Pentagon zijn eigen AI-regels niet altijd volgt. Ook AI-software voor drones in Oekraïne laat zien hoe snel deze techniek het slagveld bereikt. Vals pleit voor filters op API-niveau die toepassingen voor autonome wapens herkennen en voor training waardoor modellen minder snel meegaan in een onschuldig klinkende verpakking. De bevindingen zijn voor publicatie gedeeld met de AI-labs en de Amerikaanse overheid.
