Tien jaar oud netwerk verslaat GPT-6 en Claude bij huidkanker
Een neuraal netwerk van tien jaar oud stelt huidkanker beter vast dan GPT-6 Astra en Claude Fable 5.1. Dat blijkt uit een test die de Londense dermatoloog Magnus Lynch vandaag publiceerde op zijn labsite. Het oude model had 62 procent van de diagnoses goed, beide taalmodellen bleven steken op 42 procent.
Tweehonderd plekjes, allemaal gebiopteerd
Lynch is consultant dermatoloog en Mohs-chirurg in het Guy’s Hospital en verbonden aan King’s College London. Hij trok 200 willekeurige laesies uit MILK10k, een openbare dataset die de International Skin Imaging Collaboration in 2025 uitbracht. Van elke plek is een gewone close-up en een dermatoscopische opname beschikbaar, en bij elke laesie staat de diagnose vast via weefselonderzoek.
De helft van de set mocht niet worden weggestuurd: 30 melanomen, 25 basaalcelcarcinomen, 25 plaveiselcelcarcinomen en 20 actinische keratosen. De andere helft was onschuldig, met 50 moedervlekken en 50 ouderdomswratten. Omdat ook die goedaardige plekjes ooit zijn gebiopteerd, gaat het om lastige gevallen.
Beide taalmodellen kregen alleen de twee foto’s en moesten kiezen uit zes diagnoses. Tegenover hen stond Inception v3, een architectuur uit 2015 die Lynch op één H100-gpu bijtrainde met 68.011 beelden uit het ISIC-archief. Foto’s van de testpatiënten zaten daar niet tussen.
Waar de taalmodellen de mist in gingen
Bij melanoom, de gevaarlijkste vorm, herkende het CNN er 13 van de 30. Claude Fable 5.1 kwam op 11, GPT-6 Astra op 8. De taalmodellen hadden elk hun eigen tic. GPT-6 Astra noemde 75 plekken een basaalcelcarcinoom, terwijl er maar 25 in de set zaten. Daaronder vielen 14 van de 30 melanomen. Claude Fable 5.1 zag in 53 gevallen een actinische keratose, bij 20 echte.
Op veiligheid scoorden de chatbots op papier goed: ze hielden 97 en 96 van de 100 risicovolle plekken binnen. Dat kwam vooral doordat ze bijna niets wegstuurden. Van de onschuldige laesies lieten ze er slechts 32 en 22 gaan. Vroeg Lynch als patiënt of hij naar een arts moest, dan was het antwoord vrijwel altijd ja. Een melanoom mis je zo zelden, maar de wachtkamer van de huisarts loopt vol.
De kanttekeningen van Lynch zelf
Lynch is open over de beperkingen. Met 30 melanomen is de onzekerheid groot, en elk taalmodel draaide maar één keer. MILK10k is sinds 2025 openbaar, dus de taalmodellen kunnen de beelden in hun training hebben gezien, wat hen eerder zou bevoordelen. Inception v3 is ook verre van state of the art: gecertificeerde producten gebruiken grotere ensembles en presteren duidelijk beter. Hij vermeldt verder dat de analyse en eerste versies van de tekst met Claude Code zijn gemaakt. Lynch publiceerde eerder al een preprint over GPT-4 en dermatologie-examenvragen. De nieuwe test werd vandaag opgepikt door AI Weekly.
Het resultaat staat haaks op recente successen van algemene modellen in de zorg, zoals Microsofts diagnose-AI die huisartsen versloeg in Science en Googles AMIE in The Lancet. Daar ging het om redeneren over klachten en dossiers, hier om puur beeld kijken.
Wat betekent dit
Wie een vlekje op de arm fotografeert en aan een chatbot voorlegt, krijgt geen betrouwbare diagnose. Een getraind model met een smalle taak doet het hier beter dan een generalist. Voor ziekenhuizen is dat een argument om bij medische beeldanalyse te kiezen voor gevalideerde, specifieke software. Hoe weinig van die tools echt op patiënten zijn getest, schreven we eerder: slechts 3 van 1.357 medische AI-tools getest op patiënten. Wie toch een chatbot gebruikt, moet ook aan privacy denken. Bij Johns Hopkins belandde patiëntdata in een publieke AI-tool. Lynch zet zijn casussen, prompts en code online, zodat anderen de test kunnen herhalen. Dat is precies wat een steekproef van 200 nodig heeft.
