Cursor laat codeeragents zelf desktopapps bedienen

Cursor laat zijn codeeragents voortaan zelf klikken en typen in desktopapps. Het bedrijf achter de populaire AI-code-editor kondigde de functie Computer Use op 23 oktober aan via X. Een agent kan daarmee een app bouwen, opstarten en daarna zelf door de interface lopen om te kijken of de nieuwe functie echt werkt. Cursor noemt de iOS Simulator van Apple als voorbeeld.

Wat de agent nu kan

Tot nu toe bleven codeeragents grotendeels binnen de editor, de terminal en hooguit een browser. Met Computer Use maakt de agent screenshots, klikt hij op knoppen en vult hij tekstvelden in, net als een menselijke tester. Ontwikkelaar en blogger Flavio Copes beschrijft in zijn handleiding van 24 oktober hoe dat in de praktijk gaat: je typt in een agentgesprek een @ en kiest Computer Use, of je noemt het in je prompt. De agent kan de functie ook zelf inschakelen als een taak daarom vraagt.

Copes ziet de meeste waarde bij het testen van UI-flows, het reproduceren van bugs en het controleren van een fix. Voor pure functies of API-antwoorden voegt het weinig toe. Hij waarschuwt ook dat een screenshot maar één moment laat zien. Wie wil weten of gegevens bewaard blijven, moet de app opnieuw openen.

Toestemmingen op de Mac

Op macOS draait de functie via een kleine hulpapp, Cursor Computer Use. Volgens de documentatie van Cursor moet je die app zelf rechten geven voor Toegankelijkheid en Schermopname. Rechten voor Terminal of Cursor zelf tellen niet. Op macOS 15 en later kan Schermopname af en toe opnieuw goedkeuring vragen. Bedrijven kunnen Toegankelijkheid via een MDM-profiel regelen, maar voor Schermopname is altijd een menselijke klik nodig.

Ook op Linux werkt het, via een X11-scherm met tools als xdotool en ffmpeg. Wie Cursor-agents op eigen machines draait, moet de functie expliciet aanzetten met de vlag –computer-use. Enterprise-beheerders kunnen Computer Use in de teaminstellingen uitschakelen; standaard staat het aan. Op Linux kunnen collega’s ook live meekijken of het overnemen via desktop sharing. Dat gebeurt op een apart bureaublad dat de worker zelf aanmaakt, en het klembord kan daar niet heen.

Waarom dit nu gebeurt

Cursor volgt een bredere beweging. OpenAI liet ChatGPT eerder deze maand al tabbladen in Chrome bedienen en Anthropic lanceerde met Claude Duet een agent die zelf initiatief neemt. De concurrentie tussen codeertools is stevig: OpenAI bracht Codex onlangs naar Google Cloud, en Replit maakte volgens TechCrunch OpenAI tot standaardpartner voor zijn eigen agent.

Een agent die je scherm bedient, raakt ook aan veiligheid. Copes raadt aan alleen ontwikkelkopieën en testdata te gebruiken. Dat advies is niet overbodig: vorige week moesten gebruikers van een andere codeertool nog hun API-sleutels vervangen na een lek.

“Een agent die zelf door je app klikt, scheelt een hoop handwerk. Maar je moet nog steeds zelf bepalen wat hij mag aanraken, en dat begint bij goed snappen hoe zo’n tool werkt.”

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, geeft de Copilot-training van TTM Communicatie

Wat betekent dit

Voor ontwikkelaars verschuift het werk van zelf testen naar controleren wat de agent getest heeft. Vooral bij mobiele apps, waar handmatig door schermen klikken veel tijd kost, kan dat schelen. Het is wel geen vervanging van geautomatiseerde tests: Copes wijst erop dat je logica die je vaak wilt controleren beter in vaste tests kunt vastleggen. Wie het wil proberen, moet Cursor updaten. Staat Computer Use niet in het @-menu, dan is een update volgens Copes het eerste om te checken.