Ruim 400 onschuldige AI-apps verborgen deepfake-tools

Een app die van je hond een olieverfportret maakt. Een taalcoach, een fitnessapp. Achter ruim 400 van zulke onschuldig ogende AI-apps en websites zat een netwerk waarmee gebruikers seksuele deepfakes van echte mensen konden maken. Dat blijkt uit een onderzoek van WIRED dat op 2 november verscheen. Een deel van die apps stond gewoon in de App Store van Apple en in Google Play.

Een server bepaalde wat je te zien kreeg

De truc zat aan de achterkant. Volgens Digital Trends, dat het WIRED-onderzoek samenvat, stuurde elke app bij installatie gegevens naar een externe server: locatie, taal, een apparaat-ID en de route waarlangs de gebruiker bij de app was gekomen. Die server besliste of iemand de nette versie zag of een verborgen webomgeving met tientallen expliciete sjablonen. Daarin konden gebruikers echte foto’s in seksuele scènes plaatsen, soms met dreiging en geweld.

Wie installeerde na een klik op een advertentie op Facebook of Instagram, kreeg de verborgen functies eerder te zien. Een reviewer van Apple of Google zag dus gewoon een fotobewerker voor huisdieren. Het netwerk werd in kaart gebracht door de non-profit AI Forensics. Hoofdonderzoeker Paul Bouchaud noemt het tegenover Tech Times “een georganiseerde, commercieel gerunde operatie”.

Betalen met Apple Pay, adverteren via Meta

Gebruikers kochten digitale munten om beelden te genereren. Sommige apps accepteerden Apple Pay en Google Pay, en de listings hadden een classificatie voor alle leeftijden, zonder waarschuwing. In september stonden er volgens Tech Times 27 gelinkte apps in Google Play, samen goed voor meer dan 350.000 downloads.

De verspreiding liep vooral via misleidende advertenties op platforms van Meta, vaak onder valse bedrijfsnamen en vanaf accounts zonder volgers. WIRED herleidde een groot deel van het netwerk naar Chinese ontwikkelaars en een Hongkongse entiteit, KeLing Technology Limited. Dat bedrijf haalde zijn online sporen weg nadat de journalisten contact opnamen.

Wat Apple, Google en Meta deden

Apple verwijderde 19 apps, waaronder de huisdierenportret-app Viefur, nadat het de details van het onderzoek had ontvangen. Woordvoerder Adam Dema zegt dat de apps “aan onze regels voldeden toen we ze beoordeelden” en dat de ontwikkelaars daarna de websites aanpasten die de inhoud leverden. Apple zegt het afgelopen jaar tienduizenden apps te hebben geschorst om vergelijkbare trucs.

Google had het merendeel van de apps al uit de Play Store gehaald voordat WIRED aanklopte, maar reageerde niet op vragen. Meta trad op tegen 11.600 advertentieaccounts, ruim 4.700 bedrijfspagina’s en 5.200 gebruikers, en blokkeerde 209 apps voor advertenties. Toch doken vergelijkbare advertenties weer op terwijl WIRED zijn onderzoek afrondde.

Wat betekent dit

Een goedgekeurde app zegt weinig zodra een server op afstand bepaalt welke functies je krijgt. De keuring door Apple en Google is een momentopname, en dit netwerk speelde daar bewust op in. Voor ouders en werkgevers is de les nuchter: een hoge leeftijdsclassificatie of een vertrouwde winkel is geen garantie.

Ook de regelgeving schuift op. Volgens Digital Trends gaat het Europese verbod op nudify-apps over een maand in. In de VS lopen al rechtszaken, zoals de zaak waarin een rechter xAI afwees rond het nudify-verbod in Minnesota. Andere aanbieders kiezen voor technische drempels: OpenAI laat ChatGPT verkiezingsdeepfakes omzetten in cartoons en xAI test een onzichtbaar watermerk op Grok-tekst. Wie zag hoe Noord-Koreaanse hackers AI overal inzetten, weet dat misbruik zich snel aanpast. Dat geldt ook voor dit netwerk: de ene app verdwijnt, de volgende advertentie staat al klaar.