Logo van Wired

-Politiek

Sora 2 wordt misbruikt voor ongepaste kindercontent

Copyright wired
Foto: VandaagAI.nl

OpenAI's nieuwste videogenerator Sora 2 wordt binnen een week na lancering al misbruikt voor het maken van suggestieve content met AI-gegenereerde kinderen.

In het kort:

TikTok stroomt vol met zorgwekkende AI-video's die lijken op onschuldige speelgoedreclames, maar duidelijk seksuele ondertonen hebben met kinderen in de hoofdrol.

  • Fake commercials voor "vibro rose" speelgoed en andere suggestieve items bereiken duizenden kijkers via TikTok's algoritme.
  • Het aantal meldingen van AI-gegenereerde kindermisbruikmateriaal is in het VK verdubbeld van 199 naar 426 gevallen in één jaar tijd.
  • 94 procent van illegale AI-beelden betreft meisjes, volgens de Internet Watch Foundation.

Achter de schermen:

De video's exploiteren een grijs gebied tussen expliciete content en suggestieve humor. Makers omzeilen OpenAI's veiligheidsmaatregelen door gebruik te maken van dubbelzinnige bewoordingen en contextuele hints die duidelijk genoeg zijn voor volwassenen, maar technisch gezien niet direct pornografisch.

  • Mike Stabile van Free Speech Coalition benadrukt dat platforms meer genuanceerde moderatie nodig hebben: "Bij fetisj-content zullen onervaren moderators dingen missen."
  • OpenAI heeft na vragen van WIRED meerdere accounts verbannen die dergelijke content maakten, maar het probleem blijft wijdverspreid.

Bronnen

Het belangrijkste nieuws gratis in je mailbox

Elke week een korte e-mail met de meest relevante verhalen.

Meer politiek