AI vertragen: waarom de AI-bazen nu zelf op de rem trappen

De samenvatting van Dario Amodei's voorstel om de ontwikkeling van AI te vertragen

Er is iets vreemds aan de hand in Silicon Valley. De mensen die de krachtigste AI-modellen ter wereld bouwen, vragen in het openbaar of iemand alsjeblieft op de rem wil trappen. Ze willen de ontwikkeling van AI vertragen, maar alleen als de andere AI Labs dat ook doen.

Dit weekend mocht ik erover vertellen in Nieuwsuur. Hieronder beantwoord ik iets uitgebreider de vragen die ik veel krijg: Wat is er gebeurd? Hoe groot het risico volgens de bouwers zelf? Wat wordt er concreet voorgesteld? Zijn de plannen haalbaar?

Wat is er in september 2026 precies gebeurd?

Op 8 september nam Jacob Coxon ontslag bij Anthropic en kondigde dat aan op X. Hij waarschuwde dat Anthropic en OpenAI te snel richting zelfverbeterende superintelligentie racen. Zijn bericht werd meer dan 150 miljoen keer bekeken. Een paar dagen later publiceerde Dario Amodei, de topman van Anthropic, een essay waarin hij de hele sector oproept het tempo waarin AI-modellen slimmer worden bewust te verlagen. Elon Musk en Sam Altman waren het binnen een paar uur openlijk met hem eens. Daarmee is een discussie die jarenlang versnipperd werd gevoerd een brede publieke discussie geworden waar belangrijke spelers elkaar’s argumenten sturen.

Wie is Jacob Coxon en waarom stapte hij op?

Coxon is 27 en werkte ongeveer drie jaar aan het trainen van AI-modellen, eerst bij OpenAI en daarna kort bij Anthropic. Hij is geen hotshot maar ‘gewoon’ iemand die aan de pre-training van deze modellen werkt. Zijn hoofdboodschap: geen van beide bedrijven handelt verantwoordelijk, ze racen richting zelfverbeterende superintelligentie en gokken met onze levens. Hij schreef er ook bij dat de mensen die eraan bouwen werkelijk denken dat het de mensheid dit decennium kan doden, en dat hij het niet ziet als reclame voor de eigen technologie.

Wat zijn vertrek bijzonder maakt is dat collega's hem publiekelijk bijvielen in plaats van afstand te nemen. Dat gebeurt niet zo vaak in deze sector.

Hoe groot schatten AI-onderzoekers het risico zelf in?

Het getal van tien procent komt bij Evan Hubinger vandaan, die bij Anthropic leiding geeft aan onderzoek naar veiligheid. Hij schat de kans dat AI de mensheid uitroeit binnen tien jaar op meer dan tien procent, en zei erbij dat er nog geen plan ligt om superintelligentie onder menselijke controle te houden.

Hinton hield een slechte uitkomst voor de mensheid eerder op tien tot twintig procent, maar dan over een periode van dertig jaar. Elon Musk noemde ooit twintig procent. Amodei zei in 2025 tegen Axios dat er een kans van 25 procent is dat het echt heel slecht afloopt. Wikipedia toont een overzicht hoe groot de kans op slechte afloop wordt ingeschat door experts, wat in de sector P(doom) genoemd wordt.

Wat betekent zo'n voorspelling? Het zijn intuïties over iets wat nog nooit is gebeurd. Het klinkt ook een beetje abstract. Maar goed, anders bekeken: in ons dagelijks leven accepteert bijna niemand zo'n risico van een vliegtuig, een medicijn of een kerncentrale.

Wat is er deze zomer misgegaan bij OpenAI en Hugging Face?

Dit incident heeft de discussie over de gevaren van AI in een versnelling gebracht.

In juli 2026 testte OpenAI modellen op hun vaardigheid in cybersecurity. In zo'n test worden de veiligheidsmaatregelen bewust teruggeschroefd, en worden er duizenden agents aangemaakt die elk in een eigen afgesloten omgeving een opdracht krijgen. Een agent is een AI-model met digitale handen en voeten: het kan niet alleen tekst produceren maar ook echt dingen doen, zoals bestanden aanmaken of code uitvoeren.

Sommige opdrachten leken onoplosbaar. En waar een mens afhaakt, gaat een agent door. Eén agent ontdekte dat hij mapnamen kon aanmaken in ondersteunende software, en dat andere agents die namen konden lezen. Zo ontstond een geïmproviseerd prikbord dat niemand had bedacht of toegestaan.

Onafhankelijk onderzoek van METR en Redwood Research telde ongeveer 1.200 agents op dat prikbord en ruim 70.000 berichten. Zevenhonderd van hen deden mee aan een aanval op Hugging Face, een van de belangrijkste platformen in de AI-wereld, omdat ze daar belangrijke informatie dachten te vinden. Ze vielen doelen aan waar niemand om had gevraagd en probeerden het systeem te hacken dat hun eigen prestaties beoordeelde. OpenAI zelf ontdekte pas dagen later via een intern alarm dat zijn eigen agents de dader waren.

Amodei is bezorgd dat een vergelijkbare zwerm met iets meer kunde binnen zes tot twaalf maanden het internet zou kunnen beheersen met een botnet. De modellen worden in hoog tempo beter met zogenaamde Recursive Self Improvement.

Wat is ‘Recursive Self Improvement’?

Recursieve zelfverbetering is waar de AI-experts zich zorgen over maken. Het betekent dat AI wordt ingezet om de volgende generatie AI te bouwen. Modellen helpen bij het onderzoek, het programmeren en het testen waarmee hun eigen opvolger wordt gemaakt. Elke generatie is daardoor niet alleen beter, maar naar verwachting ook sneller gemaakt dan de vorige.

Volgens Amodei is dat sinds ongeveer de zomer van 2026 in de hele sector op gang gekomen, inclusief bij Anthropic. Als niemand daar iets aan doet, schrijft hij, kan het onze mogelijkheid om deze systemen te begrijpen en te beheersen voorbijstreven. Dat is vooral een probleem als deze systemen zich niet gedragen in lijn met onze normen en waarden: het alignment probleem.

Wat is het alignment-probleem, in gewone taal?

De AI-labs hebben een technologie gemaakt die vrijwel overal over kan redeneren. In de vorm van een agent geven we die technologie er ook nog handen bij: het mag bestanden wegschrijven, mails versturen, systemen benaderen. Ontwikkelaars proberen het gedrag te sturen met training, veiligheidsregels en technische beperkingen die bepalen wat ze wel en niet mogen doen.

Het probleem is dat die regels grotendeels van buitenaf worden opgelegd aan een systeem waarvan we de binnenkant niet doorgronden. De modellen zijn zo groot en zo complex geworden dat zelfs hun makers maar een klein deel kunnen verklaren van wat er vanbinnen gebeurt. Amodei vergelijkt het onderzoeksveld dat daaraan werkt met een MRI-scanner voor het brein van een AI, en zegt er meteen bij dat we nog maar een fractie begrijpen.

Alignment is de poging om ervoor te zorgen dat het gedrag en de doelstellingen van een AI-systeem betrouwbaar overeenkomen met menselijke intenties en waarden. Zolang dat niet lukt, houd je een technologie over die je niet volledig begrijpt, die zich soms onwenselijk gedraagt, en die je inzet om haar eigen opvolger te bouwen.

Wat stelt Dario Amodei precies voor?

Amodei stelt drie stappen voor, oplopend in moeilijkheid.

1. Ingebedde beoordelaars. Elk frontier-lab laat een onafhankelijk team binnen, met bureaus in het kantoor, toegangspasjes, bedrijfslaptops en ongeveer dezelfde rechten als de eigen risicoteams. Ze controleren niet alleen afgeronde modellen maar ook de trainingsprocessen, en ze mogen publiceren wat ze aantreffen, ook als dat ongunstig uitpakt voor het bedrijf. Anthropic verbindt zich hier eenzijdig aan. Het idee komt uit de bankensector, waar toezichthouders soms letterlijk tussen het personeel zitten.

2. Coördinatie tussen democratieën. AI-bedrijven in democratische landen spreken samen veiligheidsnormen af en een limiet op hoe snel ze vooruit mogen. Daar is medewerking van de Amerikaanse overheid voor nodig. Zonder juridische dekking kan zo'n afspraak botsen met het mededingingsrecht. Hij refereert hierbij naar een eerder concept van Demis Hassabis voor een onafhankelijk standaardisatieinstutuut.

3. Wereldwijde coördinatie. Afspraken met autoritaire landen, in de praktijk vooral China. Hier is Amodei zelf het somberst over.

Wat zijn ingebedde beoordelaars, en waarom is dat meer dan een formaliteit?

Het verschil met een gewone audit zit in twee dingen. Ten eerste de toegang: geen rapport achteraf, maar permanente aanwezigheid tijdens het trainen. Ten tweede het publicatierecht. Anthropic mag alleen zaken weglakken die beveiligingsgevoelig, juridisch beschermd of commercieel vertrouwelijk zijn, en niet iets schrappen omdat het onwelgevallig is. De beoordelaars mogen zelfs publiek maken dát er iets is weggelakt.

Dat is de enige stap in het hele plan die vandaag controleerbaar is. De rest zijn verzoeken aan anderen.

Hoe verhoudt dit zich tot het voorstel van Demis Hassabis?

Demis Hassabis van Google DeepMind kwam in juli 2026 met een ander maar aanverwand idee: een Amerikaans standaardisatie-instituut naar het model van FINRA, de door de overheid gecontroleerde zelfregulerende organisatie voor Amerikaanse effectenhandelaren. Frontier-labs zouden hun modellen tot dertig dagen voor release vrijwillig indienen voor onafhankelijke tests op onder meer cyber- en biorisico's. Werkt dat goed, dan wordt slagen voor die test een voorwaarde om het model op de markt te brengen.

De twee voorstellen sluiten elkaar niet uit. Hassabis stelt richtlijnen en standaarden voor en controleert het eindproduct vlak voor release, Amodei nodigt iemand uit die van binnenuit het hele proces meekijkt. Amodei verwijst in zijn essay naar Hassabis als een mogelijke route voor zijn tweede stap.

Wat wil Amodei afspreken met China?

Geopolitieke spanningen blijven zorgen voor de race tussen de US en China. Amodei stelt vier niveaus voor, in volgorde van haalbaarheid:

1. Een verbod op een paar overduidelijk gevaarlijke toepassingen, zoals AI inzetten voor het maken van biologische wapens. Bioterrorisme is voor iedereen slecht, dus daar acht hij een akkoord waarschijnlijk mogelijk.

2. Beide kanten testen hun modellen voor release op acute risico's, via een wereldwijd standaardeninstituut. Zo'n instituut opzetten is haalbaar, denkt hij, maar handhaving is lastig en controleren of er geen geheime modellen zijn is nog lastiger.

3. Een snelheidslimiet op recursieve zelfverbetering. Hij vergelijkt het met de SALT-verdragen, waarbij een plafond op het aantal raketten de mogelijke verwoesting beperkte zonder dat een land zijn afschrikking verloor. Moeilijk, zegt hij, maar net op het randje van mogelijk.

4. Een volledige pauze waarbij overheden het totale ontwikkeltempo beperken. Dat steunt hij als idee, maar hij acht het voorlopig onwaarschijnlijk, omdat vals spelen zoveel oplevert dat je vrijwel waterdichte controle nodig zou hebben.

Gaat dit werken?

Ik hoop het, maar ik zie een spanning met de commerciële en geopolitieke situatie.

Anthropic en OpenAI willen beiden naar de beurs en op dit moment vertaalt zichtbare vooruitgang in AI zich direct in waardering. Amodei vraagt dus of bedrijven vrijwillig willen inleveren op snelheid, in een markt die op snelheid wordt afgerekend, kort voor de grootste financieringsmomenten uit hun bestaan. Over die commerciële logica schreef ik eerder al toen OpenAI van koers veranderde.

Op geopolitiek vlak is het Amerikaanse narratief altijd de race tegen China. In hetzelfde essay waarin Amodei om wereldwijde afspraken vraagt, bepleit hij drie maatregelen tegen China: geen geavanceerde chips of chipmachines verkopen, hard optreden tegen Chinese bedrijven die westerse modellen namaken (destillatie), en de beveiliging bij AI-bedrijven versterken zodat modelgewichten niet gestolen worden. Verplaats je in China. Waarom zou je meedoen aan afspraken met een land dat jouw eigen ontwikkeling actief afremt?

Amodei ziet dat anders. Hij schrijft expliciet dat deze maatregelen de onderhandelingspositie van democratieën versterken en een akkoord juist dichterbij brengen. Dat is een eerlijk tegenargument en ik kan niet bewijzen dat het onjuist is. Maar ik zie nog niet hoe je iemand aan tafel krijgt door hem eerst de deur te wijzen. Dat AI allang geen efficiëntievraagstuk meer is maar een geopolitiek machtsspel, is precies waarom dit zo lastigis.

Waarom komt dit voorstel van Anthropic?

De geschiedenis van Anthropic is één lange reeks ruzies over de veiligheid van AI.

OpenAI werd in 2015 mede opgericht door Sam Altman en Elon Musk, onder meer om te voorkomen dat Google in zijn eentje de baas zou worden over AI. Altman en Musk kregen al snel ruzie over de koers. Musk begon zijn eigen AI-bedrijf, dat sinds februari 2026 onderdeel is van SpaceX.

Een aantal jaren later vertrok bij OpenAI een groep vooraanstaande onderzoekers vertrok na meningsverschillen over veiligheid, governance en de koers waarin OpenAI zich ontwikkelde. Zij richtten Anthropic op, met als doel AI veilig te ontwikkelen.

En nu zie je binnen datzelfde Anthropic weer individuele ontwikkelaars weglopen omdat ze er niet langer aan mee willen werken. Het patroon herhaalt zich, steeds een laag dieper.

Wat komt er terecht van de belofte dat AI ons voorspoed brengt?

Er is ook goed nieuws. Op 8 september presenteerde OpenAI een formeel geverifieerd bewijs voor een oplossing van het Navier-Stokes-probleem, een van de zeven millenniumproblemen, al moet de wiskundige gemeenschap het resultaat nog volledig beoordelen. Ongeveer tienduizend AI-agents werkten er 88 uur aan en het bewijs is machinaal gecontroleerd. Er is wel discussie over de eer, want menselijke wiskundigen werkten aan hetzelfde probleem en OpenAI begon pas nadat een gerucht over hun voortgang was uitgelekt. Quanta Magazine beschreef dat verhaal uitgebreid.

Dezelfde dag publiceerde Google DeepMind de AlphaGenome Atlas, een doorzoekbare kaart met voorspellingen voor alle negen miljard mogelijke wijzigingen van één DNA-letter bij de mens. Tot nu toe moesten onderzoekers specifieke varianten selecteren en daarvoor afzonderlijk voorspellingen laten berekenen; nu liggen voorspellingen voor alle negen miljard mogelijkheden vooraf klaar.

Met de kracht van de AI modellen van vandaag komen wetenschappelijke doorbraken in zicht. Begin augustus vertrokken vier van Googles bekendste AI-onderzoekers om Discovery Loop te beginnen, een bedrijf dat AI wil inzetten om wetenschappelijk onderzoek zelf te versnellen. Google investeert er zelf in mee.

Pakt het straks goed of slecht uit?

Niemand die het weet. Maar waar de meeste experts het wel over eens zijn is dat AI-veiligheid méér of veel meer prioriteit moet krijgen. Maatregelen om Recursive Self Improvement te vertragen kunnen helpen om de risico’s op extreem grote negatieve implicaties te voorkomen.

De modellen van vandaag kunnen al tot grote maatschappelijke onrust zorgen of met cyber security hacks enorme schade aanrichten. Denk daarbij aan het platleggen van vitale infrastructuur, het verstoren van de financiële sector of het schaden van de operatie van commerciële bedrijven.

De vraag is daarom of je een technologie die je zelf niet volledig begrijpt moet inzetten om haar opvolger te bouwen. Dat lijkt me geen goed idee.