AI maakt senior advocaten beter, junioren niet
Advocaten die drie maanden met een AI-schrijfhulp werken, leveren beter werk af. Maar worden ze er ook betere advocaten van? Volgens een nieuw veldexperiment van econoom David Autor en Google-onderzoeker Tanya Rodchenko hangt dat sterk af van hoeveel ervaring iemand al heeft. Senioren groeien, junioren niet.
Drie maanden octrooien schrijven met AI
De onderzoekers volgden 133 octrooiadvocaten bij elf Amerikaanse IE-kantoren. Twee derde kreeg vroege toegang tot een toen nog onaangekondigde AI-tool van Google Labs voor het opstellen van octrooiaanvragen, die inmiddels onderdeel is van Gemini Notebook. De overige deelnemers kregen dezelfde training, maar geen toegang tot de tool. Dat schrijven Autor en Rodchenko op de blog van Google Research. Het volledige paper staat als werkdocument bij het NBER.
Na 10 en na 90 dagen schreven alle deelnemers een octrooitekst op basis van gesimuleerd materiaal van een uitvinder. De groep met AI scoorde na 10 dagen 0,34 standaarddeviatie hoger, ongeveer 10 percentielpunten. Na 90 dagen was dat 0,38 standaarddeviatie. Volgens het NBER-paper waren die winsten het grootst bij de jongere advocaten.
De echte test: zonder AI
Interessanter is wat er gebeurde toen de tool wegviel. Aan het eind van de drie maanden moesten alle advocaten een bestaande octrooiaanvraag redlinen, dus nalopen en corrigeren, zonder enige AI-hulp. Dat is kernwerk waarvoor je juridisch oordeelsvermogen nodig hebt.
Gemiddeld deed de AI-groep het 0,32 standaarddeviatie beter dan de controlegroep. Dat voordeel kwam volledig voor rekening van de senioren: zij scoorden 0,45 standaarddeviatie hoger. Ervaren advocaten gebruikten de tool volgens de onderzoekers als een soort ‘logic auditor’ die hun eigen redeneringen op de proef stelde.
Bij junioren zag het er anders uit. Gemiddeld gingen ze er niet op vooruit. Hun scores liepen wel uiteen: er waren duidelijk minder middelmatige resultaten, en tegelijk meer slechte en meer goede. Een deel van de jonge advocaten leerde dus veel van de AI, een ander deel juist minder dan collega’s zonder tool.
Basiskennis eerst
De conclusie in het NBER-paper is voorzichtig geformuleerd: stevige basiskennis is mogelijk een voorwaarde om blijvend iets te leren van werken met AI. Autor en Rodchenko schrijven dat betere prestaties leveren en duurzaam vakmanschap opbouwen twee verschillende doelen zijn. Organisaties moeten volgens hen voorkomen dat AI-tools junioren de kans ontnemen om later zelf expert te worden.
Die zorg speelt breder. Bloomberg meldde deze week dat Indiase bankcentra minder afgestudeerden aannemen, omdat AI instapwerk als leningcontroles en reconciliaties overneemt. Ook advocatenkantoren betalen inmiddels topsalarissen voor AI-talent, terwijl de vraag is hoe ze hun eigen jonge mensen opleiden.
Wat betekent dit
Voor werkgevers is de les concreet. Een AI-tool uitrollen en kijken of de output verbetert, zegt weinig over wat medewerkers zelf leren. Wie junioren alleen laat werken met een assistent die het denkwerk overneemt, kan over een paar jaar zitten met mensen die zonder die assistent niet goed uit de voeten kunnen. Begeleiding door senioren en momenten waarop junioren bewust zonder AI werken, lijken daarom verstandig.
Het past bij eerdere signalen. Uit cijfers van PwC bleek al dat het AI-gebruik op het werk stijgt terwijl training daalt. Banken als UBS eisen van junior bankiers aantoonbare AI-vaardigheid, en ook in de zorg wegen artsen af waar ze AI wel en niet vertrouwen. Het onderzoek van Autor voegt daar een lastige vraag aan toe: kunnen mensen hun vak nog goed uitoefenen als de tool even uit staat?
