Robostral Navigate stuurt robots met één camera

Mistral AI heeft op 8 juli Robostral Navigate uitgebracht, een model dat een robot door een ruimte loodst met beelden van één gewone camera. Het is de eerste stap van het Franse bedrijf in de robotica. Volgens de aankondiging op de site van Mistral werkt het systeem zonder lidar en zonder dieptesensoren.

Eén camera, geen lidar

Robostral Navigate telt 8 miljard parameters en neemt twee dingen als invoer: een beeld van een RGB-camera en een opdracht in gewone taal, zoals “loop naar de keuken en stop bij de tafel”. Het model zet dat camerabeeld stap voor stap om in bewegingen. Veel navigatiesystemen leunen op lidar, dieptesensoren of een rij camera’s, terwijl Mistral het met dat ene beeld doet. Dat scheelt hardware en kosten. Het model draait op uiteenlopende robots, van rijdende platforms op wielen tot lopende machines en drones, en is volgens Mistral bestand tegen wisselende camerahardware.

De cijfers achter het model

Mistral meet de prestaties op de R2R-CE-benchmark, waarbij een robot een uitgesproken route moet volgen in een omgeving die het nog niet kent. Daar haalt Robostral Navigate een succespercentage van 76,6 procent in onbekende omgevingen en 79,4 procent op de bekende validatieset. Techsite The Decoder meldt dat het model daarmee de beste eerdere aanpak met één camera met 9,7 punten voorbijstreeft en zelfs systemen met meerdere sensoren en lidar met 4,5 punten achter zich laat. De training gebeurde in simulatie, met 400.000 afgelegde routes en versterkend leren om de navigatie bij te schaven. Dat het model overweg kan met verschillende lenzen noemt Mistral apart, want in de praktijk draait een robot zelden op precies dezelfde camera als tijdens de training.

Mistral verbreedt zijn aanbod

Voor Mistral is dit een nieuwe richting. Het bedrijf staat vooral bekend om taalmodellen, van het open-weight model tot Leanstral 1.5, dat bugs opspoort met wiskundige bewijzen. Met een navigatiemodel richt het zich nu op belichaamde AI, het vakgebied dat software aan fysieke machines koppelt. Die stap past bij de ambities uit de recente kapitaalronde rond een waardering van 23 miljard. De timing valt op, want humanoïde robots trekken volop investeerders terwijl de winst in die hoek tegenvalt. Navigeren op camerabeeld speelt trouwens ook bij zelfrijdende auto’s, zoals in de robotaxi-deal van Stellantis, Wayve en Uber.

Wat betekent dit

Een model dat met één camera navigeert, verlaagt de drempel om robots slimmer te maken. Fabrikanten hoeven geen duur sensorpakket op elke machine te schroeven, wat ook simpelere robots en kleinere bedrijven binnen bereik brengt. Tegelijk gaat het om benchmarkcijfers uit gecontroleerde tests, en een magazijn of woonkamer is rommeliger dan een simulatie. Of Robostral Navigate het buiten het lab volhoudt, moet de praktijk uitwijzen. Duidelijk is wel dat Mistral zich niet langer tot tekst beperkt en dat de concurrentie in belichaamde AI er een serieuze naam bij heeft.