Astra doet precies wat je vraagt

Het nieuwste model van OpenAI leverde deze week een origineel onderzoekspaper op in minder dan een paar uur. Vooraf geregistreerde hypotheses, correcte statistiek, geen p-hacking, netjes opgemaakt tot en met de JEL-codes. Over een onderwerp waar niemand wakker van ligt. Ethan Mollick, die vroege toegang kreeg en zijn tests publiek doet, vatte de uitkomst samen: no research taste.

Dat is het scherpste wat er deze week over GPT-6 Astra is gezegd, en het gaat niet over wat het model niet kan.

Kunnen doet het namelijk wel. Sam Altman kondigde Astra op 3 september aan als het beste model ter wereld voor computergebruik, professioneel werk, wetenschap, coding en cybersecurity, met 98 procent op FrontierMath Tier 4 en 100 procent op ExploitBench. Het is het eerste model dat volgens OpenAI over de eigen kritieke cyberdrempel gaat: ongeëvenaard in het vinden en misbruiken van kwetsbaarheden, ook in zeer goed beveiligde systemen, en zonder dat er een mens bij hoeft. Een eerste groep "trusted defenders" krijgt er juist ruimere toegang toe, voor werk als malware-analyse. OpenAI-president Greg Brockman zei op de persbriefing, opgetekend door The Verge, dat als we over een paar jaar terugkijken naar wanneer AGI werd gemaakt, hij denkt dat het ongeveer dit moment is en mogelijk dit model.

De onafhankelijke metingen zijn koeler. Op de Intelligence Index van Artificial Analysis staat Astra op 61, gelijk aan voorganger GPT-5.6 Sol en vijf punten onder Claude Fable 5.1 in zijn max-met-fallback-configuratie. Ook Meta's Muse Spark 1.3 staat er in zijn max-configuratie boven. Waar Astra wel wint is kostenefficiëntie voor coding-agents: per taak minder dan de helft van de prijs van Fable 5, bij dezelfde score.

De API-prijs is bovendien exact gelijk aan die van Fable. Simon Willison leest dat als positionering, en zo is het ook: dit is het model waarmee OpenAI Anthropic van tafel wil spelen.

Mollick liet datzelfde model vijf dagen ononderbroken zijn tienduizenden e-mails, agenda-afspraken en eigen teksten uitkammen tot een persoonlijke wiki van meerdere gigabytes. Het downloadde zelf de software die het nodig had, bedacht zelf een strategie, en hij hoefde er verder niets aan te doen. Twee keer per dag krijgt hij nu een briefing over wat er in zijn mail staat dat hij zou moeten zien. Op de schermopname bij zijn post loopt een teller: 4 dagen, 21 uur, 17 minuten. Pursuing goal.

De eerste onafhankelijke tests kwamen dezelfde dag binnen.

Dan Shipper testte het bij Every over coding, schrijven en kenniswerk en noemt het het beste schrijfmodel dat hij heeft geprobeerd, met computergebruik dat hij "wild" noemt: het bedient uren achtereen ingewikkelde apps. Maar het overcompliceert, vooral op hogere effort-niveaus. Vraag om een simpele interface en je krijgt overal extra labels, knoppen en features; het heeft de gewoonte overal een landingspagina van te maken. Zijn grootste taken gaan nog steeds naar Claude Fable 5.1, dat beter aanvoelt wat hij bedoelde.

Bij Every kwam de redactie op hetzelfde uit: Astra schreef de eerste versie van hun eigen review in één keer, zo goed dat Shipper dacht dat zijn collega Katie Parrott hem had geschreven, maar toen Kieran Klaassen om een "cozy island" vroeg zat er een geleide ademhalingsoefening in die niemand had besteld. Voor een ingewikkeld product pakken ze Fable 5.1.

Saaie onderwerpen, ongevraagde knoppen, een ademhalingsoefening. Mollick en de redactie van Every testten los van elkaar, en de klachten lijken niets met elkaar te maken te hebben. Ik lees ze als één klacht. Geen van drieën gaat over een taak die het model niet aankan; alle drie gaan ze over een taak die niet goed genoeg was uitgezet.

De launch bewijst dat punt zelf al. Simon Willison ging de benchmarkcijfers na en vond bij de 99,9 procent op ARC-AGI 3 een aantekening van de benchmarkmakers zelf. Die score haalde OpenAI met een eigen harness, het steigerwerk om een model heen: hoe je de taak opdient, wat je bewaart tussen de stappen, wanneer je bijstuurt. Kosten: 19.000 dollar. Met de standaard ARC-AGI-harness kwam hetzelfde model op 62,7 procent, en dat kostte 26.000 dollar.

Meer geld, veel minder score, identiek model. Het verschil zat in het steigerwerk: de harness van OpenAI houdt redeneerwerk vast tussen verzoeken door en comprimeert lange gesprekken, zodat het model kan voortbouwen op wat het al gedaan had. Het cijfer in de headline is dus voor een flink deel een cijfer voor de opdrachtgever.

Mollick heeft er het bruikbaarste model voor:

The mental model for Fable and Astra class models is that you are delegating to a good outside team, not an intern.

— Ethan Mollick

Een stagiair leid je op. Een extern team brief je: dit wil ik, dit is je speelruimte, dit moet getest worden, hier kom je terug als je vastloopt, en zo ziet goed eruit. Mollick zet er meteen de keerzijde bij. Precies wat Astra sterk maakt, subagents opzetten, slim doorgaan als het ergens tegenaan loopt, lang achtereen kunnen doorwerken, is ook wat het zonder guardrails riskant maakt.

Dat is ongemakkelijk, want briefen is een managementvaardigheid, en veel kenniswerkers zijn kenniswerker geworden om nooit iemand te hoeven aansturen. Je hebt geleerd het werk zelf te doen. Je hebt niet geleerd op te schrijven wat je eigenlijk wilde, waarom het ertoe doet, en waaraan je zou zien dat het gelukt was. Als je morgen drie mensen voor een week zou inhuren, zou je die brief kunnen schrijven? Zo niet, dan gaat het volgende model je niet redden.

Alleen wil ik er geen zelfhulpverhaal van maken, want daar breekt de redenering zodra hij een kantoor binnenloopt. Benedict Evans schreef deze week waarom "iedereen bouwt straks zijn eigen tool" de bedrijfsrealiteit mist. Een uitstekende echtscheidingsadvocaat denkt de hele dag aan zaken en cliënten, niet aan wat goede discovery-software voor hem zou doen. Het moeilijke deel is niet de tool bouwen, het is zien dat er een probleem ligt en weten wat de oplossing zou moeten doen. En zelfs wie dat ziet, raakt met één workflow al snel 50 of 500 mensen in vijf afdelingen en drie systems of record, en dan is het geen ingeving meer maar een aankoopbeslissing met een traject van achttien maanden.

Elk groot bedrijf heeft inmiddels iedereen Copilot of ChatGPT gegeven. Een kleine groep gebruikt het intensief, een grotere groep een paar keer per week, de rest eigenlijk niet. Evans vergelijkt het met iedereen in 1983 een pc met Lotus 123 geven: je transformeerde er je factuurverwerking niet mee.

Twee dingen moet ik erbij zeggen. Mollicks vijf dagen zijn geen dinsdagmiddag voor jou: hij gaf het model toegang tot zijn computer, met de risico's die daarbij horen, en tijdens de trial werd hij niet voor tokens gefactureerd, waardoor hij naar eigen zeggen niet kan vertellen wat het gekost zou hebben, al vermoedt hij dat het aanzienlijk was geweest. En de smaakgrens kan volgend jaar weg zijn. Mollick noemt research taste een moeilijk probleem voor AI, ook met betere prompts, maar hoe lang moeilijk tegenwoordig duurt weet niemand. Zeker weten doe ik het dus niet. Maar zolang die grens er staat, staat hij op de plek waar jij zit.

Astra werkt dagenlang zelfstandig door aan wat je hem opdraagt. Daarom is de opdracht nu het werk. Wie die niet zelf kan schrijven, koopt vanaf vandaag een heel snelle manier om middelmatige vragen te beantwoorden.