Wie hier remt, geeft de frontier weg

De mensen die in de praktijk bepalen hoe hard AI vooruitgaat werden het afgelopen weekend binnen een paar uur met elkaar eens dat het langzamer moet. Drie dagen later zette Mozilla er het getal naast dat in dat debat ontbrak: 4,4 maanden. Zo breed is de voorsprong die ze beloven af te remmen.

Dario Amodei begon zaterdagochtend met een essay van bijna vierduizend woorden waarin hij stelt dat "we het tempo waarin we de capaciteiten van AI-modellen verbeteren moeten vertragen", om een race to the bottom te vermijden die catastrofale risico's acuter maakt. Voor de avond viel had Sam Altman ingestemd, zei Demis Hassabis dat het essay "naar het juiste pad vooruit wijst", verwelkomde Satya Nadella de "bewuste pacing", en linkte Elon Musk ernaar met drie woorden: Dario is right.

Er zit één concreet voorstel in. Externe evaluatoren van organisaties als METR komen binnen elk frontier-lab zitten, met toegang op medewerkersniveau, om veiligheidspraktijken te verifiëren en incidenten te melden. Anthropic verbindt zich daar unilateraal aan, Altman noemde het een geweldig idee en zei dat OpenAI hetzelfde gaat doen. Nieuw is het niet: safety-onderzoekers vragen er volgens The Verge al jaren om, en in juli tekenden meer dan duizend medewerkers van AI-labs een publieke brief die om vertraging vroeg. Alles daarboven blijft vaag, zo blijkt uit de reconstructie van Kyle Orland in Ars Technica: gemeenschappelijke veiligheidsstandaarden, limieten op het tempo, uiteindelijk een internationaal akkoord waarvan Amodei zelf erkent dat het op korte termijn onwaarschijnlijk daadwerkelijk gebeurt.

Evan Armstrong, die in zijn nieuwsbrief The Leverage vooral over macht schrijft en niet over veiligheid, wijst op één feit en noemt dat het meest bezwarende bewijs tegen de gedachte dat dit regulatory capture is. Dit zijn de vier partijen met de grootste voorsprong, en als het voorstel volledig wordt uitgevoerd nemen ze vrijwillig een kostbare vertraging van hun eigen R&D die hun zwakkere concurrenten laat inlopen. Er staan biljoenen op het spel en ze verkleinen hun eigen vermogen om die te pakken, schrijft Armstrong, en dat zou ons allemaal moeten laten overwegen dat de risico's echt zijn. Dat argument is sterker dan de kartelreflex waarmee de rest van het internet reageerde, en het verdient een eerlijk antwoord.

Het antwoord is dat het alleen opgaat als die voorsprong iets waard is.

Mozilla publiceerde dinsdag zijn State of Open Source AI, en het getal daarin is 4,4 maanden. Zoveel loopt de beste open-weight generatie nog achter op de gesloten frontier. Moonshots Kimi K3 komt vlak onder Anthropic's Fable 5 uit en kost dertig procent daarvan. In augustus hadden acht van de tien meest gebruikte modellen op OpenRouter open gewichten. Dat zijn geen mensen die zelf een model van honderden gigabytes neerzetten, maar verkeer naar de gehoste API's van de open-weight-makers.

Zulke vergelijkingen vallen doorgaans uit in het voordeel van de labs, omdat die hun eigen harness meeleveren en die software de prestaties opkrikt. Benchmarkbedrijf Vals AI draait daarom elk model op dezelfde neutrale harness. Op Terminal-Bench 2.1 kwam GLM 5.2 van het Chinese Z.ai zo binnen één punt van Claude Opus 4.7 en 4.8, tegen ongeveer vijf keer minder kosten per afgeronde taak.

Volgens het rapport is er nog één band waar betalen zich uitbetaalt: klussen van acht tot twaalf uur. Daaronder kan open het ook. Daarboven haalt geen enkel model het betrouwbaar, waarbij betrouwbaar in deze meting neerkomt op de helft van de keren goed. Mozilla-CTO Raffi Krikorian noemt de keuze om voor closed te betalen dan ook workload-specifiek in plaats van organisatie-specifiek, met een handvol plekken waar die premie wordt verdiend: expert-professioneel werk, high-intensity retrieval en lange context. "Als de open frontier een klus van zeven uur aankan, kan de closed frontier er een van twaalf uur aan. Over vier maanden doet het open model de klus van twaalf uur, en het gesloten model iets rond de twintig."

Die zin en de belofte van zaterdag kunnen niet allebei waar zijn. Pacen betekent dat het gesloten model over vier maanden niet rond de twintig uur zit. Het betekent dat het ergens bij twaalf blijft hangen terwijl de open modellen doorlopen. Een vertraging die groot genoeg is om veiligheid te kopen, is dus groot genoeg om de enige band weg te geven waar closed nog een premie verdient.

Daarmee blijven er twee lezingen over en ze zijn allebei ongemakkelijk. Of de vertraging is klein genoeg om niets te kosten. Dat is de vrees die Daniel Kokotajlo, ex-OpenAI en nu leider van het AI Futures Project, tegen The Verge uitsprak: wat auditors binnenhalen, een hoop veiligheidspapierwerk waarvan een deel echt goed zal zijn, en aan het eind nauwelijks langzamer. Een pauze is bovendien nogal gelegen gekomen. Anthropic vertelde investeerders dat het een tweede kwartaal op rij winstgevend was, maar alleen als je de kosten van modeltraining niet meetelt. Of de vertraging is echt, en dan geven de labs met deze afspraak hun eigen product weg.

Amodei's essay heeft wel een antwoord op de concurrentiekant. Bij gebrek aan een internationaal akkoord kunnen buitenlandse actoren China vertragen door geen krachtige AI-chips te verkopen en hard op te treden tegen distillatie en diefstal van modelgewichten. Dat is de enige route waarlangs remmen en voorop blijven lopen samen kunnen gaan. Het is ook industriepolitiek, en het beschermt precies de voorsprong van labs als Anthropic op hun goedkope Chinese concurrentie. Een woordvoerder van het Chinese ministerie van Buitenlandse Zaken noemde de oproepen maandag fearmongering.

En daar loopt het pact stuk op een bondgenoot die niemand kon inplannen. De industriepolitiek waar het op leunt moet uit Washington komen. Maandagochtend postte Trump dat de enige guardrail die AI nodig heeft "een STERKE EN SLIMME (Hoog IQ!) PRESIDENT" is, en die heeft Amerika ruimschoots. Diezelfde dag belde hij Jensen Huang, die op het podium van de All-In Summit in Los Angeles stond. Huang liet een extra microfoon aanrukken zodat de zaal mee kon luisteren. De oproepen tot vertraging spelen precies in de kaart van heel veel mensen die niet willen dat het gebeurt, zei Trump. "Dat kunnen politieke mensen zijn. Het kan ook China zijn. En we gaan dat niet laten gebeuren. Het is een hoax." Huang antwoordde dat de president gelijk had en dat ze het niet zouden laten gebeuren, meneer. De zaal applaudisseerde.

Er bestaat wel een versie van dit pact die je kunt narekenen. Kokotajlo's AI Futures Project stelt voor dat labs auditors toegang geven tot hun compute-budget, en toezeggen dat budget voor research significant te verlagen. Dat is een getal met een richting, en het is precies het getal dat in geen van de toezeggingen van dit weekend voorkomt. Wat ze wel noemden, evaluatoren met medewerkerstoegang, zegt iets over een procedure en niets over een uitkomst. Het onderscheid dat telt is of iemand buiten het lab kan vaststellen dat er iets is veranderd.

Voor wie AI gebruikt in plaats van bouwt, verandert deze afspraak ondertussen niets. Volgens de experts die The Verge sprak richten de oproepen zich vrijwel uitsluitend op grote frontier-labs, afgebakend met exacte omvangsmetrieken. En de open modellen waar de wereld volgens Krikorian op draait zijn grotendeels Chinees, dus van labs die in dit pact niet meedoen. Krikorian geeft er een bruikbare beslisregel bij: betaal als die voorsprong het waard is, zoals een deadline die valt vóór het moment dat de open frontier je inhaalt. Routinewerk dat je volgend kwartaal nog steeds doet is dat niet, want dat kun je binnenkort voor een vijfde van de kosten doen, en het model is toch niet de bottleneck.

Salesforce liet deze week op Dreamforce zien hoe dat er van de andere kant uitziet: het bouwde zijn eerste reasoning-model op Nvidia's open Nemotron, getraind op synthetische data, goedkoper per taak, ingebed binnen Salesforce en werkend binnen de data- en security-eisen van de klant. "Voor reasoning hebben we altijd op de frontier-modelaanbieders geleund. Tot nu", zei AI-baas Jayesh Govindarajan. Tot deze week routeerde Salesforce meerstaps- en langlopende redeneertaken van zijn agents door naar een frontier-model als Claude of ChatGPT.

De afspraak van zaterdag is geen toneelstuk. Hij is alleen veel kleiner dan hij klonk. De bazen van de grootste AI-labs kunnen in een weekend afspreken om langzamer te gaan. Ze kunnen niet afspreken dat het uitmaakt, en tot iemand het compute-budget mag inzien weet ook niemand of ze het doen. Een pact is geloofwaardig in de mate waarin het pijn doet. Deze doet voorlopig geen pijn.