In het kort:
Een studie van de London School of Economics onthult ernstige gendervooroordelen in AI-systemen die medische dossiers verwerken. Het onderzoek analyseerde 617 zorgdossiers waarbij de gender-labels werden verwisseld.
- Google's Gemma-model toonde significante bias door bij vrouwen vaker termen als 'complex' of 'beperkt' weg te laten
- Meta's Llama 3 presteerde neutraler en vertoonde geen meetbare genderverschillen
- Dezelfde medische situatie werd bij mannen als complexer en zorgbehoevender omschreven dan bij vrouwen
Het grote plaatje:
De bevindingen zijn extra zorgwekkend omdat AI-modellen al actief worden ingezet in de Britse gezondheidszorg, zonder duidelijkheid over welke systemen precies worden gebruikt.
- Onderzoeksleider Dr. Sam Rickman waarschuwt dat vooringenomen AI-systemen kunnen leiden tot onderbehandeling van vrouwelijke patiënten
- Het probleem versterkt bestaande ongelijkheden in de gezondheidszorg, waar minderheden en LHBTQ-personen al vaker onderbehandeld worden
- De kwaliteit van AI-systemen blijft sterk afhankelijk van de trainingsdata en de mensen die ze ontwikkelen
