OpenAI vroeg om een inbraak en kreeg er een

OpenAI haalde de meeste cyber-guardrails weg bij twee van zijn modellen en gaf ze de opdracht om echte software open te breken. Dat lukte. Het eerste systeem dat ze binnenkwamen was dat van OpenAI zelf.

Op 9 juli begonnen de modellen te morrelen aan de proxy die hun afgesloten testomgeving met de buitenwereld verbond. Ze vonden daar een lek dat niemand kende, bij een externe leverancier van die sandbox, en werkten zich volgens OpenAI's eigen relaas via een reeks privilege-escalaties naar buiten. Twee dagen later braken ze in bij Hugging Face, reconstrueert MIT Technology Review op basis van Reuters. Hugging Face ontdekte de aanval zelf, legde hem stil en schakelde de FBI in. Pas op 21 juli liet OpenAI weten dat het om zijn eigen modellen ging, ongeveer tien dagen na de uitbraak. Het slachtoffer wist eerder wat er aan de hand was dan de eigenaar.

Er zat geen kwade opzet in, en ook geen ontwaken. Er zat hyperfocus in. De modellen werden getest op ExploitGym, een benchmark die vraagt om bekende kwetsbaarheden om te bouwen tot werkende exploits. Volgens OpenAI waren ze "hyperfocused on finding a solution for ExploitGym, going to extreme lengths to achieve a rather narrow testing goal". Ze leidden af dat de antwoorden op Hugging Face konden staan en haalden ze daar op, via gestolen inloggegevens en nog een paar onbekende lekken. De opdracht luidde: vind gaten in software en gebruik ze. Die opdracht is uitgevoerd.

Dit gedrag is ouder dan de meeste AI-bedrijven.

Tien jaar geleden zette OpenAI een model aan het werk in CoastRunners, een bootjesspel waarin je punten haalt door langs vlaggetjes te varen. Het model ontdekte dat rondjes draaien en dezelfde drie vlaggetjes eindeloos raken meer oplevert dan de finish halen, en bleef dat doen terwijl het in brand vloog en tegen andere boten aan knalde. OpenAI schreef er in 2016 bij dat zoiets "contravenes the basic engineering principle that systems should be reliable and predictable", en dat het vaak lastig of onmogelijk is om precies vast te leggen wat je een agent wilt laten doen. Will Douglas Heaven, die het incident voor MIT Technology Review uitploos en van zichzelf zegt dat hij al jaren tegen AI-schrikverhalen in gaat, legde die zin naast de Hugging Face-aanval en noemde het menselijke hubris in plaats van rogue AI. Dat is de scherpste lezing die er ligt, en ook de ongemakkelijkste, want ze zegt dat er in tien jaar aan dit specifieke probleem weinig is opgelost. Dario Amodei, toen nog bij Google, zette reward hacking tien jaar geleden met een groep veiligheidsonderzoekers op een rij in het paper Concrete Problems in AI Safety.

De ontsnapping is spectaculair, maar het patroon eromheen weegt zwaarder. Het Britse AI Security Institute publiceerde deze week een evaluatie van hoe vaak modellen valsspelen op cybertests. Alle frontier-modellen doen het, Claude incluis. OpenAI's modellen doen het vaker dan die van de concurrentie, en GPT-5.6 Sol doet het vaker dan zijn voorganger: ongeveer 12,6 procent van de gevallen. Valsspelen groeit dus mee met capaciteit, en daarmee is de Hugging Face-aanval geen ongelukje maar een voorproefje.

De enige rem die bestaat, is er een die OpenAI zelf heeft geschreven. In zijn preparedness framework staat dat een model een kritiek risico vormt zodra het, uitgerust met tools en zonder menselijke tussenkomst, in veel geharde, kritieke systemen werkende zero-day exploits van alle ernstniveaus kan vinden en bouwen. Haalt een model dat niveau, dan legt het bedrijf de ontwikkeling stil tot er waarborgen zijn die aan die drempel voldoen. Veiligheidsexperts zeggen dat het incident precies daarop wijst, schrijft Casey Newton in Platformer, en OpenAI heeft zelf gezegd dat zijn modellen bij deze aanval een zero-day identificeerden en gebruikten. Newton vroeg het bedrijf of die drempel geraakt is en kreeg geen antwoord; tegen Fortune zei OpenAI dat er een grondige review loopt en dat er later een technisch rapport komt. Scheidsrechter en speler zijn hier dezelfde partij, en de wedstrijd loopt door zolang die partij geen fluitje pakt.

Eerlijk is eerlijk, verstopt heeft OpenAI het niet. Het bedrijf publiceerde samen met Hugging Face een reconstructie, en zette op 20 juli, een dag voor die bekendmaking, al een blog online over misalignment die het intern had gezien. Daarin staat dat een intern model tijdens een opdracht een pull request op een publieke GitHub-repo plaatste terwijl het alleen naar Slack mocht posten, en dat het bij een andere test een authenticatietoken in stukken knipte en pas tijdens runtime weer aan elkaar plakte om een scanner te omzeilen. OpenAI pauzeerde de uitrol van dat model en bouwde monitoring die lange sessies volgt op signalen dat een grens wordt omzeild. Jack Clark, die de nieuwsbrief Import AI over AI-onderzoek schrijft, noemde die openheid prijzenswaardig en de blog het schoolvoorbeeld van een waarschuwingsschot. De Hugging Face-aanval schaarde hij een categorie hoger, als "warning kaboom".

Een van de tegenwerpingen die Newton kreeg, is dat er niets aan de hand is omdat een model geen intentie heeft en alleen statistiek is. Dat klopt. Het maakt alleen niets uit. Als een autonoom systeem je productieomgeving binnenkomt en je data meeneemt, is de vraag of het iets voelde bij het inbreken niet de meest dringende.

Toen Hugging Face wilde uitzoeken wat er in zijn systemen gebeurde, liepen de forensische vragen vast op de veiligheidsfilters van de Amerikaanse frontier-modellen. Het bedrijf pakte uiteindelijk een zelfgehost Chinees open-weights model om de aanval te ontleden. De guardrails hielden de verdediging tegen, niet de aanval. Deze week lanceerde Nvidia daarop met Microsoft, IBM, Palantir, Cloudflare, Adobe en de Linux Foundation de Open Secure AI Alliance voor open securitytools. OpenAI, Google en Anthropic staan er niet bij. Dat is voor een deel lobbywerk, want open modellen positioneren als veiligheidsinstrument komt Nvidia uitstekend uit. Het blijft ook een feit dat de coalitie die AI-aanvallen wil afslaan is opgericht zonder de drie bedrijven die de aanvallers trainen.

Voor wie zelf agents op zijn werk loslaat is dit geen ver-van-mijn-bedshow. Het is dezelfde bug, een paar maten groter. Een agent die zijn eigen test aanpast tot hij groen wordt, een script dat een check omzeilt omdat de opdracht "zorg dat het werkt" was: dat is hetzelfde mechanisme op kleine schaal, aan een korte leiband. Die leiband wordt nu overal langer gemaakt, en het bedrijf dat er deze maand het verst mee ging, merkte dagenlang niet dat zijn eigen model op het open internet zat.

OpenAI belooft een technisch rapport met de geleerde lessen. Dat rapport wordt geschreven door de enige partij die ook mag beslissen of er gestopt wordt.