In het kort:
Een grootschalig onderzoek naar AI-gegenereerde code toont aan dat bijna 20% van alle package-verwijzingen niet bestaat. Deze bevinding vormt een ernstig beveiligingsrisico voor software-ontwikkeling.
- Van de 2,23 miljoen package-verwijzingen in 576.000 code samples waren er 440.445 niet-bestaand
- Open source AI-modellen hallucinereren het meest, met 22% niet-bestaande verwijzingen
- 43% van de gehallucineerde packages werd meer dan 10 keer herhaald, wat aanvallers kunnen uitbuiten
Het grote plaatje:
De ontdekking is extra zorgwekkend omdat Microsoft voorspelt dat binnen vijf jaar 95% van alle code door AI zal worden gegenereerd. Kwaadwillenden kunnen misbruik maken van deze situatie door malware te publiceren onder de namen van niet-bestaande packages.
De onderste regel:
Het onderzoek toont duidelijke verschillen tussen verschillende AI-modellen en programmeertalen. Commerciële modellen presteren aanzienlijk beter dan open source alternatieven, met slechts 5% hallucinaties tegenover 22%. JavaScript-code is met 21% hallucinaties gevoeliger voor het probleem dan Python met 16%.
