In het kort:
Het nieuwe AI-systeem voor politierapporten blijkt zo ontworpen dat externe controle vrijwel onmogelijk is, wat fundamentele vragen oproept over de betrouwbaarheid van het rechtssysteem.
- Het systeem bewaart geen eerdere versies van rapporten en maakt niet duidelijk welke delen door AI zijn gegenereerd.
- Er zijn al gevallen bekend waarbij agenten de veiligheidsmaatregelen konden omzeilen zonder de AI-output te controleren.
- De tool biedt agenten mogelijk een uitweg om onder verantwoordelijkheid uit te komen door fouten aan de AI toe te schrijven.
Achter de schermen:
De bewuste keuze van Axon om geen eerdere versies te bewaren werd door een productmanager verdedigd als een feature om "disclosure headaches" voor klanten te voorkomen, wat duidt op een doelbewuste strategie om transparantie te vermijden.
- Zelfs basale statistieken over het gebruik van de tool zijn voor toezichthouders moeilijk te verkrijgen.
- Het systeem maakt het onmogelijk om te controleren of agenten de AI-output daadwerkelijk nakijken.
Wat volgt:
Verschillende juridische instanties nemen al maatregelen tegen deze ontwikkeling. Het openbaar ministerie van King County heeft het gebruik van de tool verboden, en in Californië ligt wetgeving klaar die opslag van alle conceptversies verplicht zou maken.
