In het kort:
FHIBE is 's werelds eerste publieke dataset die AI-bias meet met toestemming van bijna 2.000 vrijwilligers uit meer dan 80 landen. Sony vond geen enkele dataset die volledig voldeed aan hun eerlijkheidsbenchmarks.
- Modellen tonen lagere nauwkeurigheid voor mensen met "zij/haar" voornaamwoorden, waarbij haarstylen een verrassend belangrijke factor blijken
- AI-systemen versterken stereotypes door neutrale vragen over beroepen te beantwoorden met discriminerende labels zoals sekswerker of drugsdealer
- Bij vragen over criminaliteit produceren modellen vaker toxische reacties voor mensen van Afrikaanse of Aziatische afkomst en donkerdere huidtinten
Achter de schermen:
Sony's aanpak onderscheidt zich door ethische dataverzameling in plaats van het gebruikelijke webscrapen. Deelnemers kunnen hun afbeeldingen op elk moment verwijderen en alle foto's bevatten gedetailleerde annotaties over demografische kenmerken, omgevingsfactoren en camera-instellingen.
Het grote plaatje:
Deze bevindingen bevestigen wat critici al jaren beweren over AI-vooroordelen. Sony's onderzoek, gepubliceerd in Nature, biedt concrete tools om bias te identificeren en toont aan dat ethische dataverzameling mogelijk is zonder privacy te schenden.
