Meta's advertentiesysteem schuift de kosten van mislukte moderatie af op kinderen

Meta kan niet verklaren dat advertenties die materiaal over seksueel kindermisbruik promoten herhaaldelijk de moderatie passeren als incidentele fouten die worden veroorzaakt door criminelen die van methode wisselen. Het bedrijf controleert de mechanismen voor advertentiemoderatie, -distributie, -kosten en -meldingen op Facebook en Instagram; wanneer deze mechanismen relevante advertenties doorlaten na overheidsbevelen, mediaonderzoeken en waarschuwingen van organisaties, vormen geautomatiseerde systemen niet een vervanging voor verantwoordelijkheid, maar het object waarvoor Meta verantwoordelijkheid moet dragen.

Volgens de BBC stelt de Amerikaanse belangenorganisatie Tech Transparency Project (TTP) dat Facebook en Instagram in de afgelopen tien maanden in totaal 332 betaalde advertenties hebben geplaatst die met AI gegenereerde afbeeldingen van seksueel kindermisbruik bevatten, waarvan 274 verschenen in augustus van dit jaar. TTP stelt dat 84 advertenties in India werden geplaatst, waarvan 78 werden gepubliceerd nadat de Indiase regering Meta had bevolen alle advertenties en inhoud die seksueel kindermisbruik promoten te verwijderen, en ontmoetingen had gehad met hoge Meta-functionarissen.

Deze cijfers komen voornamelijk uit het onderzoek van TTP, en zijn niet onafhankelijk geverifieerd door de BBC. TTP beschreef ook een advertentie die in India werd geplaatst en die met behulp van kunstmatige intelligentie een foto van een prepuberaal meisje manipuleerde, maar de BBC verklaarde expliciet deze advertentie niet te hebben gezien. Deze bewijsbeperking mag niet worden genegeerd, maar neemt ook niet de vragen weg waarop Meta antwoord moet geven: waarom kunnen advertenties die vermoedelijk seksueel kindermisbruik promoten, na tussenkomst van toezichthouders nog steeds het betaalde distributiesysteem binnenkomen?

De BBC legt uit dat advertenties op Meta-platforms eerst door moderatietechnologie moeten worden goedgekeurd voordat ze worden gepubliceerd. Het systeem is voornamelijk afhankelijk van automatisering en controleert afbeeldingen, video's, tekst, audio, doelgroepen en bestemmingen van links. Meta is daarmee geen passief prikbord dat informatie van derden toont. Het beslist wie verspreiding kan kopen, welke gebruikers de inhoud kunnen bereiken, en haalt inkomsten uit deze infrastructuur. De schade die ontstaat door falende moderatie kan niet worden afgevlakt tot abstracte 'technische onvolmaaktheid'.

De tests van TTP op het meldingsmechanisme van Meta leggen de beperkingen van dit systeem verder bloot. De organisatie stelt dat het van de 84 in India geplaatste advertenties er slechts 55 kon melden terwijl ze nog online stonden. Meta antwoordde op 43 daarvan: "We hebben dit onderzocht en vastgesteld dat deze advertentie onze advertentienormen niet overtrad." Van nog eens 11 werd gemeld dat ze al waren verwijderd, en op één was nog geen reactie ontvangen. TTP stelt dat de gemelde advertenties pas volledig werden verwijderd nadat het contact had opgenomen met Meta.

De BBC ondervond een soortgelijke situatie bij eerder onderzoek. De BBC zegt dat het platform een advertentie over seksueel kindermisbruik niet verwijderde nadat het via het meldingssysteem van Instagram was gerapporteerd; pas toen de BBC Meta om commentaar vroeg, verklaarde het bedrijf dat het al meerdere advertenties had uitgeschakeld, gerelateerde accounts had opgeschort en verder advertenties had verwijderd, accounts had geblokkeerd en websites had afgesloten.

Journalisten en belangenorganisaties moeten tijdens de online-periode van advertenties deze stuk voor stuk ontdekken, bewaren en melden, terwijl Meta eerst geautomatiseerde systemen de plaatsing kan laten goedkeuren en vervolgens de nazorg als bewijs van doeltreffende verdediging kan presenteren. Deze regeling laat de arbeid om risico's te ontdekken over aan externen, laat de gevolgen van de verspreiding bij kinderen en hun families, terwijl het platform de regels, gegevens en het tempo van handhaving blijft beheersen.

Meta verklaarde tegenover de BBC dat het bedrijf een "sterke verdediging" heeft opgebouwd, inclusief het onderscheppen van overtredende advertenties en continue monitoring, dat veel gemarkeerde advertenties al eerder waren verwijderd, en dat de meeste advertenties minder dan 200 keer waren vertoond met een totale uitgave onder 5000 dollar. Maar vertoningen en advertentie-uitgaven beschrijven alleen de omvang van de verspreiding en bewijzen niet dat het moderatiemechanisme zijn beschermende verantwoordelijkheid is nagekomen. Voor het risico dat echte kindfoto's worden gemanipuleerd en geseksualiseerd, vormen mindere vertoningen geen vrijstelling.

De commerciële keten maakt het voor Meta moeilijker om het probleem aan externe criminelen toe te schrijven. TTP stelt dat de overgrote meerderheid van de 332 advertenties gebruikers doorverwijzen naar AI-beeld- of videogeneratie-apps, die merendeels afkomstig zijn van Chinese ontwikkelaars. TTP beweert ook dat sommige advertenties zijn geplaatst door advertentieagentuurpartners van Meta in China; de BBC meldt dat deze zogenaamde "resellers" jaarlijks Chinese advertenties ter waarde van miljarden dollars op Facebook en Instagram plaatsen. De betreffende partners reageerden niet op de vragen van TTP.

Meta verklaarde tegenover de BBC: "We tolereren geen ontkledingsapps of enige vorm van kinderexploitatie, of het nu echt is of met AI gegenereerd. Deze criminelen veranderen voortdurend van methode om detectie te ontwijken, daarom versterken we continu onze detectie en handhaving." Het bedrijf voegde hieraan toe dat het bij het ontdekken van duidelijke kinderexploitatie-inhoud dit meldt aan het Amerikaanse National Center for Missing & Exploited Children, overeenkomstig de Amerikaanse wettelijke verplichtingen.

Bhuwan Ribhu, oprichter van het Indiase netwerk voor kinderrechtenorganisaties Just Rights for Children, is van mening dat alleen rapporteren aan Amerikaanse instanties niet voldoende is. Hij vertelde de BBC: "Socialemediabedrijven rapporteren duidelijk niet over seksueel kindermisbruik aan Indiase wetshandhavingsinstanties zoals vereist door onze kinderbeschermingswetten, en overtreden daarmee openlijk de Indiase wetgeving." De BBC meldt dat het organisatienetwerk een verzoekschrift heeft ingediend bij het Indiase Hooggerechtshof om het gerecht opdracht te geven sociale platforms te verplichten dergelijke inhoud te melden en de promotors ervan te identificeren. Meerdere Indiase instanties hebben na het BBC-onderzoek aangegeven de zaak te onderzoeken.

Het feit dat verspreidingsroutes platforms overschrijden, vermindert niet de verantwoordelijkheid van de eerste betaalde ingang. De BBC ontdekte eerder dat sommige Meta-advertenties gebruikers doorverwijzen naar Telegram, waar gerelateerd materiaal wordt verkocht voor slechts 99 roepie. Shikha Goel, hoofd van de cyberbeveiligingsdienst van de Indiase staat Telangana, vertelde de BBC dat een grote uitdaging bij de aanpak van seksueel-kindermisbruikmateriaal is dat gebruikers gemakkelijk van het ene platform naar het andere kunnen overstappen, waardoor het voor de politie moeilijker wordt om hen te pakken. Telegram verklaarde destijds tegenover de BBC dat het bedrijf zowel geautomatiseerde als handmatige moderatie gebruikt en "de openbare verspreiding van seksueel-kindermisbruikmateriaal vrijwel heeft uitgebannen".

Platformoverstijgende stromen vergroten inderdaad de handhavingsmoeilijkheden, maar Facebook en Instagram bieden een koopbare, richtbare en goed-te-keuren verspreidingsingang. Meta heeft de macht om te voorkomen dat advertenties online komen, en beslist ook wanneer meldingen effectief zijn, wanneer overtredende accounts worden uitgeschakeld en hoe partners toegang krijgen tot de advertentiemarkt. Zolang dit systeem de moderatiefouten vóór plaatsing aan kinderen laat lijden en vervolgens de effectiviteit afmeet aan lage vertoningen en verwijdering achteraf, dient Meta's zogenaamde verdediging nog steeds de ononderbroken werking van het advertentiesysteem, in plaats van kinderveiligheid boven de commerciële infrastructuur te plaatsen.