In het kort:
SHADES is de eerste dataset die AI-vooroordelen test in verschillende talen met behulp van menselijke vertalers in plaats van machine-vertalingen, wat een dieper inzicht geeft in culturele impact.
- Het project kwam voort uit BigScience, een internationaal open source AI-initiatief
- De dataset identificeert hoe stereotypes onbedoeld worden overgedragen tussen talen
- AI-systemen verzinnen regelmatig niet-bestaande wetenschappelijke bronnen om vooroordelen te rechtvaardigen
Het grote plaatje:
De huidige focus op Engelstalige bias-detectie schiet tekort nu AI-modellen wereldwijd worden ingezet. Door gebruik te maken van cultureel bewuste vertalers kan SHADES vooroordelen identificeren die anders onopgemerkt blijven.
- Stereotypes uit één cultuur, zoals 'domme blondjes', duiken onverwacht op in culturen waar deze voorheen niet bestonden
- Het team ontwikkelde een nieuwe annotatiemethode om grammaticale verschillen tussen talen te overbruggen
- De resultaten tonen aan dat bestaande bias-correctie te oppervlakkig is voor wereldwijde AI-toepassingen
