Anthropic laat Claude gratis open-source code doorlichten

Anthropic heeft OSS Scanner gelanceerd, een gratis dienst die open-sourceprojecten met Claude op beveiligingslekken controleert. Beheerders moeten zich zelf aanmelden. Opvallend is dat de rapporten zonder menselijke controle bij de makers van de software terechtkomen.

Zo werkt OSS Scanner

Volgens de aankondiging van Anthropic draait de dienst op de sterkste modellen van het bedrijf, waaronder Claude Mythos. Dat model was tot nu toe vooral beschikbaar voor geselecteerde beveiligers, zoals we eerder schreven over de bredere toegang tot Mythos. Aanmelden gaat via een pull request op GitHub. Volgens The Hacker News levert een project daarbij een YAML-bestand aan met een link naar de repository, een contactadres en een Dockerfile. Met die Dockerfile bouwen de agents een afgesloten omgeving zonder internettoegang, waarin ze de code klonen en doorlichten.

Niet elk project komt in aanmerking. Anthropic gebruikt criteria die lijken op die van Google’s OSS-Fuzz: de software moet ertoe doen voor infrastructuur of de veiligheid van gebruikers. The Hacker News telde bij de lancering 116 pull requests van projecten die zich wilden aanmelden.

Geen mens tussen model en beheerder

Elk rapport bevat een uitleg van de kwetsbaarheid, een manier om het probleem te reproduceren en waar mogelijk een voorstel voor een patch. Anthropic laat de meldingen bewust niet eerst door mensen beoordelen. Zo kan er vaker en sneller gescand worden, schrijft het bedrijf. Het nadeel noemt Anthropic zelf ook: rapporten kunnen onjuist zijn en de ernst kan te hoog zijn ingeschat. De beheerders blijven verantwoordelijk voor de controle.

Daarom geldt er geen automatische openbaarmakingstermijn van 90 dagen. Die termijn start pas als Anthropic een ernstige kwetsbaarheid handmatig heeft bevestigd via zijn programma voor gecoördineerde openbaarmaking. Het is een gevoelig onderwerp in de open-sourcewereld. Google zette onlangs nog zijn open-source bugbounty stil door de stroom AI-meldingen.

De cijfers achter de lancering

Anthropic onderbouwt de keuze met resultaten uit de zes maanden voor de lancering. De modellen vonden in die periode ruim 29.000 mogelijke kwetsbaarheden. Zo’n 6.000 daarvan zijn handmatig bekeken. Bijna 5.000 ongecontroleerde rapporten gingen rechtstreeks naar beheerders die om alle bevindingen hadden gevraagd. Van 97 kritieke en ernstige meldingen die experts nakeken, hielden er 85 stand (88 procent). Volgens The Hacker News leverde het werk tot 2 oktober 584 CVE-registraties op.

Anthropic citeert ook projecten die al meededen. Bij wolfSSL waren van 74 rapporten er op twee na alle geldig, en vijf werden een CVE. OpenSSL noemt de rapporten “zo goed als, en soms beter dan” wat het van mensen ontvangt. PostgreSQL meldt dat meerdere rapporten fixes bevatten die bijna ongewijzigd bruikbaar waren.

Wat betekent dit

Open-sourcebeheerders krijgen gratis de hulp van een model dat Anthropic tot nu toe sterk afschermde. Voor kleine teams die kritieke bibliotheken onderhouden kan dat veel schelen. Het werk verschuift wel: wie zich aanmeldt, moet zelf tijd vrijmaken om AI-meldingen te beoordelen en patches door te voeren. Aanvallers zetten dezelfde technieken in, zoals Microsoft eerder waarschuwde. Een eerdere analyse liet zien dat AI duizenden kwetsbaarheden vindt, terwijl er amper misbruik van wordt gemaakt. Of OSS Scanner verdedigers echt een voorsprong geeft, hangt vooral af van hoe snel de fixes bij gebruikers landen.