Gemini Live gaat blinde gebruikers helpen zien

Google heeft op 2 oktober Guided Vision uitgebracht, een functie in Gemini Live waarmee blinde en slechtziende mensen hun telefooncamera als extra ogen gebruiken. In Nederland rolt de update de komende dagen uit, meldt Android Planet.

Wat Guided Vision doet

De gebruiker start een gesprek met Gemini Live en deelt de camera. Gemini beschrijft wat het ziet en beantwoordt vervolgvragen. Zit het kruidenrek half buiten beeld, dan geeft de assistent gesproken aanwijzingen om de telefoon te verplaatsen. Google noemt in zijn aankondiging kleine lettertjes lezen, voorwerpen terugvinden en kleuren en patronen beschrijven als voorbeelden. Android Planet voegt toe dat je de ingrediëntenlijst van een product kunt laten voorlezen om op allergenen te controleren.

Gebouwd met Aira

Het model is getraind met Aira, een bedrijf dat visuele hulp op afstand levert aan blinde mensen. Volgens Google gaat het om tienduizenden uren aan visuele interpretatie en meer dan 1.000 testers uit het netwerk van Aira. Er is getest in onder meer India, Brazilië, Singapore, Indonesië en Japan, zodat beschrijvingen in verschillende talen natuurlijk klinken.

Guided Vision draait op Android 9 en nieuwer, in landen waar Gemini Live beschikbaar is. In de Gemini-app zet je de functie aan via de instellingen onder je profielfoto. De optie heet in het Nederlands “Begeleide visie in Live”.

Wat het niet is

Google is er duidelijk over: Guided Vision is geen medisch hulpmiddel en geen vervanging van een witte stok. De functie is niet bedoeld voor navigatie, veilig oversteken of het herkennen van obstakels, en kan fouten maken. Wie een onbekend station doorloopt, laat de beschrijving van een wachtruimte dus niet zijn enige houvast zijn.

Zodra een AI-assistent echt iets kan zien, wordt het pas interessant voor mensen die er dagelijks op leunen. Juist daarom moet je leren waar zo’n tool goed in is en waar hij de plank misslaat.

Leon Tindemans, AI-expert en Copilot- & ChatGPT-trainer, over AI-geletterdheid

Wat betekent dit

Gemini wordt dit jaar op meer plekken zichtbaar. Eerder schreven we over Gemini in Classroom voor alle leerlingen en over hoe Google Gems vervangt door Skills. Guided Vision is een ander soort stap: een bestaande functie, live beeld met spraak, krijgt een specifieke doelgroep en een eigen set regels.

Ook andere bedrijven werken aan spraak en beeld in realtime. Microsoft bracht onlangs spraakmodellen voor realtime voice agents uit. Wat nog ontbreekt, is onafhankelijk onderzoek naar hoe betrouwbaar de beschrijvingen in de praktijk zijn. Daarover heeft Google voor Guided Vision geen cijfers gepubliceerd.

Voor gebruikers geldt voorlopig: probeer het uit op vertrouwde plekken, zoals thuis in de keuken, en laat kritieke beslissingen niet aan de camera over.