In het kort:
OpenAI's doorbraak werpt nieuw licht op een fundamenteel probleem in AI-training. De huidige evaluatiemethoden belonen modellen voor het geven van een antwoord, zelfs als ze onzeker zijn over de juistheid ervan.
- Taalmodellen functioneren continu in 'examenstand', waarbij gokken wordt beloond boven het toegeven van onzekerheid
- Claude's modellen blijken beter in het erkennen van onzekerheid, maar dit beperkt mogelijk hun bruikbaarheid
- Het probleem ligt niet bij de modellen zelf, maar bij de manier waarop ze worden geëvalueerd
Het grote plaatje:
De oplossing ligt in het herontwerpen van evaluatiemethoden voor AI-modellen. De focus moet verschuiven van pure nauwkeurigheid naar het correct omgaan met onzekerheid.
- Huidige evaluaties moedigen gokgedrag aan door punten af te trekken bij het toegeven van onzekerheid
- Menselijke leerprocessen verschillen fundamenteel van AI-training doordat mensen in het echte leven leren omgaan met onzekerheid
- OpenAI pleit voor nieuwe evaluatiemethoden die het toegeven van onzekerheid belonen in plaats van bestraffen
