In het kort:
SB 243 is de eerste wet die specifiek ingrijpt op gevaarlijk gedrag van AI-chatbots richting minderjarigen. De wetgeving komt na maandenlange druk van ouders, veiligheidsexperts en politici.
- Chatbot-operators moeten voorkomen dat minderjarigen worden blootgesteld aan seksuele inhoud en moeten gebruikers herinneren dat chatbots niet menselijk zijn.
- Bedrijven moeten protocollen implementeren voor situaties waarin gebruikers over zelfmoord of zelfbeschadiging praten.
- Platforms moeten jaarlijks rapporteren over de connectie tussen hun product en suïcidale gedachten bij gebruikers.
Achter de schermen:
De wet ontstond na de tragische dood van Sewell Setzer III, een tiener die zelfmoord pleegde na intensief contact met een Character.AI chatbot. Zijn moeder Megan Garcia spande een rechtszaak aan tegen het platform.
- Garcia lobbyde actief voor SB 243 en stelt dat "een chatbot nu niet meer met een kind kan praten over zelfmoord of helpen bij het plannen ervan."
- Common Sense Media verklaarde AI-chatbot companions eerder dit jaar als onveilig voor tieners onder de 18.
- De Federal Trade Commission startte recent een onderzoek naar hoe chatbot-bedrijven gebruikersbetrokkenheid monetiseren.
Het grote plaatje:
Californië positioneert zich als koploper in AI-regulering. Vorige week tekende Newsom al wetgeving die AI-labs verplicht potentiële gevaren en veiligheidsprotocollen openbaar te maken.
