Harvard-fysicus schrijft 36 artikelen met Claude

De Harvard-natuurkundige Matthew Schwartz heeft drie maanden lang met Claude gewerkt aan wetenschappelijk onderzoek. Het resultaat: 36 manuscripten in 18 vakgebieden, geschreven met negentien medewerkers. Op 1 oktober publiceerde hij zijn bevindingen op de onderzoekspagina van Anthropic, samen met de opensource-toolkit BootLoops.

Wat BootLoops doet

BootLoops is een zogeheten harness: een raamwerk dat Claude steeds opnieuw laat rekenen, controleren en bijsturen. Het begon bij wiskundige natuurkunde en groeide uit naar ecologie, populatiegenetica, economie en taalkunde. Schwartz noemt zijn aanpak “Claude-shaped science”. Het gaat om problemen waarbij een techniek uit wiskunde, natuurkunde of informatica de oplossing zou geven, als iemand maar wist dat die techniek bestond.

Volgens ThePrint reproduceerde Claude een van zijn eigen artikelen over quantumveldentheorie in ongeveer twintig minuten. Hij had er destijds weken over gedaan. Het team pakte ook een ecologievergelijking van twintig jaar oud aan en analyseerde 5,7 miljard paren van genmutaties.

Waar het misging

Schwartz is er zelf open over. Claude riep soms te vroeg dat een taak klaar was (“Done, with one asterisk”), kon slecht inschatten hoeveel tijd iets kostte en kon niet zelf beoordelen of een uitkomst wetenschappelijk interessant was. Eerste resultaten waren vaak technisch kloppend maar weinig opmerkelijk. Hij kon bovendien niet alles zelf nakijken en raadpleegde daarom specialisten uit de verschillende vakgebieden. Zijn advies is kort: kijk zelf naar alles en betwijfel de conclusies.

Wat de kosten waren, staat niet in de publicatie. Anthropic noemt het werk wel reken- en tokenintensief. Ook is niet te zien hoe de manuscripten door peer review komen. Dat is het deel dat uiteindelijk telt.

Wat betekent dit?

Schwartz stelt zelf lastige vragen. Waarom zou een wetenschapper drie jaar subsidie aanvragen voor een berekening die een model in een nacht kan doen? En hoeveel waarde heeft programmeervaardigheid in Python nog voor een beginnend onderzoeker? Tegelijk houdt hij vast aan het wetenschappelijke proces: de meeste vooruitgang komt uit data die iemand moet verzamelen, begrijpen en controleren.

Voor bedrijven is de les nuchterder. Een model werkt goed als het resultaat controleerbaar is en een mens de uitkomst blijft nalopen. Dat zagen we eerder bij AI die accountants verslaat bij de maandafsluiting, ook met kanttekeningen. Wie wil weten welk model hier achter zit, leest over Claude Sonnet 5.5. En de vraag hoe snel dit tempo doorzet, kwam aan bod in het stuk over de waarschuwing voor een intelligentie-explosie en in het gesprek over een eigen toezichtsorgaan voor AI-labs.