OpenAI-modellen zetten COBOL nu veel beter om
OpenAI zegt dat zijn nieuwste modellen flink beter zijn geworden in COBOL, Fortran en Visual Basic. Dat zijn oude programmeertalen waar nog altijd banken, verzekeraars en overheden op draaien. Het bedrijf maakte de cijfers op 19 oktober bekend in een technisch stuk met de titel “Advancing coding in low-resource programming languages“. De sprong is groot. Er hangen wel kanttekeningen aan.
Van 5,4 naar 86,6 procent
OpenAI noemt deze talen “low-resource”: er is veel minder openbare code en documentatie van te vinden dan van Python of JavaScript, dus een model heeft er minder van gezien tijdens de training. Toch draait er volgens Crypto Briefing naar schatting zo’n 800 miljard regels COBOL in productie, vooral bij financiële instellingen en overheden.
Op OpenAI’s eigen test voor het migreren van COBOL-code haalt GPT-6.1 Sol bij een lage reasoning-instelling 86,6 procent nauwkeurigheid. De voorganger GPT-5.6 Sol kwam op dezelfde test niet verder dan 5,4 procent. Met de hoogste reasoning-instelling loopt de score op tot 97,9 procent, meldt Matrix News. Bij de lage instelling zouden de API-kosten 39 procent lager uitvallen.
Een database bouwen in twintig talen
De tweede test heet MultiLangBench. Een model moet daarin een database-engine bouwen die compatibel is met SQLite, in twintig verschillende programmeertalen. GPT-6 Astra haalde gemiddeld 87,4 procent van de tests, tegen 26,8 procent voor GPT-5.6 Sol. Voor COBOL specifiek ging de score van 10,9 naar 72,1 procent. OpenAI zet MultiLangBench op GitHub, zodat anderen de test zelf kunnen draaien.
Een apart product komt er niet. Volgens Runtime Wire gaat het om verbeteringen in de bestaande modellen, die ontwikkelaars via de API gebruiken. Wie wil zien hoe OpenAI zijn modellen op dit moment inzet voor zwaar programmeerwerk, kan terecht bij ons stuk over GPT-6 Pro en parallelle agents.
Eigen tests, eigen regels
Het grootste voorbehoud zit in de meetmethode. Beide benchmarks komen van OpenAI zelf, en de migratietest gebruikt verborgen tests die buitenstaanders niet kunnen controleren. Runtime Wire wijst erop dat er nog geen onafhankelijke verificatie is. Matrix News schrijft dat een hoge score geen foutloze migratie garandeert: een bank die een kernsysteem omzet, moet het resultaat nog altijd testen op echte workloads en afhankelijkheden.
OpenAI is ook niet de enige partij op deze markt. Anthropic bracht in februari al COBOL-gerelateerde updates uit, waarna het aandeel IBM volgens Crypto Briefing zo’n 13 procent daalde. IBM verkoopt zelf watsonx Code Assistant, dat COBOL naar Java vertaalt, en werkt met Bob aan multi-agent modernisering.
Wat betekent dit
Voor organisaties met oude mainframesoftware wordt het goedkoper om te onderzoeken of een migratie haalbaar is. Het tekort aan COBOL-programmeurs is al jaren een rem op zulke projecten, en een model dat de code redelijk betrouwbaar kan lezen en omzetten, haalt een deel van die drempel weg. De eindverantwoordelijkheid blijft bij mensen. Dat AI-review echte fouten vindt maar menselijke controle niet vervangt, bleek onlangs nog bij het uitstel van PostgreSQL 19. Tegelijk verandert de vraag naar programmeurs: Anthropic neemt al veel minder junioren aan. Zodra onafhankelijke teams MultiLangBench zelf hebben gedraaid, is beter te zien hoe groot de sprong echt is.