Mistral laat robots navigeren met één camera

Mistral heeft zijn eerste model voor de fysieke wereld uitgebracht. Robostral Navigate laat een robot door een gebouw bewegen op basis van beelden van één gewone camera en een opdracht in alledaagse taal. Het Franse bedrijf stond tot nu toe vooral bekend om zijn taalmodellen en zet met deze release een eerste stap in robotica.

Eén camera, geen lidar

Robostral Navigate telt 8 miljard parameters en werkt met een enkele RGB-camera. Lidar of dieptesensoren heeft het niet nodig, een opvallende keuze in een sector die doorgaans op dure sensorpakketten leunt. De gebruiker geeft een instructie in gewone taal, bijvoorbeeld “verlaat de lobby, loop door de gang en stop voor de tweede stelling”. Volgens betaaltechnologiesite PYMNTS zet het model die zinnen om in bewegingscommando’s die werken op robots met wielen, met poten of met propellers.

Getraind in een simulatie

Mistral trainde het model op ongeveer 400.000 gesimuleerde trajecten in 6.000 scenes, meldt BigGo Finance. Met een techniek die het bedrijf “navigation via pointing” noemt, daalde het aantal trainingtokens naar eigen zeggen met een factor 22 en kromp een trainingscyclus van maanden tot dagen. Op de R2R-CE-benchmark haalt Robostral Navigate 79,4 procent in bekende omgevingen en 76,6 procent in onbekende. Dat laatste ligt 9,7 procentpunt boven eerdere systemen met één camera en 4,5 punt boven opstellingen met meerdere sensoren.

Bij die cijfers past een stevige kanttekening. Alle resultaten komen uit simulatie, praktijkdata ontbreekt. De vertraging op het apparaat zelf is niet bekend en het gedrag bij wisselend licht, reflecties of bewegende obstakels is nog niet getest. Een score van 76,6 procent kan in een echte fabriekshal te laag uitpakken.

Waar Mistral naartoe wil

Mistral omschrijft het model als “de eerste stap naar een verenigde embodied agent” en noemt navigatie een basisvaardigheid voor robots voor algemeen gebruik. De release sluit aan op eerdere stappen richting de fysieke wereld: in mei tekende het bedrijf samenwerkingen met Airbus en BMW en het nam het Oostenrijkse Emmi AI over. Op de achtergrond speelt de kapitaalpositie mee. Mistral was in juni in gesprek over een ronde bij een waardering rond de 20 miljard euro, na eerdere miljardeninvesteringen van Microsoft in Mistral voor Europa.

De stap past in een bredere kapitaalstroom naar AI, waarbij robotica een van de snelst groeiende categorieën is. Zo haalde Genesis AI honderden miljoenen op voor robots en stuurt FLUX 3 inmiddels robots op de fabrieksvloer bij Audi.

Wat betekent dit

Als navigatie werkt met één camera in plaats van een lidar-pakket, wordt autonome robotiek een stuk goedkoper om te bouwen. De sprong van een schone simulatie naar een rommelige werkvloer is alleen groot, en zonder praktijkdata blijft 76,6 procent een belofte in plaats van bewijs. Voor bedrijven die met autonome robots experimenteren is de belangrijkste boodschap dat de labs achter de grote taalmodellen nu ook de fysieke wereld opzoeken.