In het kort:
Een baanbrekend onderzoek toont aan dat grote taalmodellen inherente beperkingen hebben die volledige automatisering onmogelijk maken. De wiskundige bewijsvoering suggereert dat LLM's onbetrouwbaar blijven voor complexe taken.
- Vishal Sikka, voormalig SAP-CTO, bewijst mathematisch dat LLM's "onmogelijk betrouwbaar kunnen zijn voor complexe computational en agentic taken"
- Zelfs reasoning-modellen die verder gaan dan pure woordvoorspelling lossen dit probleem niet op
- OpenAI erkent dat hallucinaties blijvend zijn: "accuracy zal nooit 100 procent bereiken"
De andere kant:
Startup Harmonic claimt doorbraken te hebben geboekt door wiskundige verificatie toe te passen op AI-output. Hun aanpak gebruikt formele mathematische redeneermethoden om LLM-resultaten te controleren via de Lean programmeertaal.
- Tudor Achim van Harmonic stelt dat hallucinaties juist noodzakelijk zijn: "Systemen leren door te hallucineren - soms bedenken ze iets wat geen mens ooit heeft bedacht"
- De industrie gelooft dat guardrails en verificatiesystemen de beperkingen kunnen ondervangen
- Sikka erkent dat componenten rond LLM's deze inherente limitaties kunnen overwinnen
Het grote plaatje:
De toekomst van AI-agenten ligt waarschijnlijk ergens tussen utopie en dystopie. Volledige automatisering blijft onbereikbaar, maar graduele verbetering van betrouwbaarheid maakt steeds meer toepassingen mogelijk - zij het altijd met menselijke verificatie als vangnet.
