Antropisk VD presenterar plan för att bromsa AI-utvecklingen
Dario Amodei bad just branschen att… sakta ner. Inte stanna. Tempo. Lång uppsats, tre steg, och en varning om att rekursiv självförbättring redan går snabbare än vuxna kan granska den.
Anthropic bjuder ensidigt in inbäddade utvärderare i byggnaden – brickor, skrivbord, bärbara datorer och rätten att publicera resultat utan PR-filter. Sedan vill han ha demokratiska laboratorier för att samordna säkerhetsstandarder. Sedan, på något sätt, en överenskommelse med auktoritära regeringar. Lätt på pappret. Svårt överallt annars.
Han säger fortfarande att AI skulle kunna vara ett mirakel. Han säger också att en mer kapabel, felriktad svärm skulle kunna ta över internet med ett ihållande botnät och orsaka skada för hundratals miljarder. De två meningarna står bredvid varandra och de går inte överens.
Och han vill ha ett snävt antitrustundantag så att säkerhetschattarna inte i sig är ett juridiskt problem. Bromsarna kommer med pappersarbete. Självklart gör de det.
Sam Altman bekräftar att OpenAI inte kommer att börsnoteras i år och säger att en börsintroduktion nu skulle komma vid en "otillbörlig tidpunkt" med tanke på AI-säkerhetsproblem
Altman satte sig ner för en exklusiv intervju och avbröt noteringskalendern. En börsintroduktion just nu, sa han, skulle vara ett "ogodt tillfälle". Säkerhetsarbetet är inte klart. Samordning är inte gjord. Samhället är inte redo. När de pressade honom – inte i år.
Bankirerna cirkulerade redan. Den konfidentiella dokumentationen finns. Nu säger VD:n att de har mycket att göra först, inklusive att lista ut hur industri och regeringar ens samarbetar. Han lät nästan lättad över att vänta.
Han sa också att det är "absolut" möjligt att bygga AI bortom mänsklig kontroll – och lovade sedan att han skulle pausa utbildningen om det är vägen. Djärvt. Kanske också bekvämt. Möjligen båda. Blandningen mellan ideella och vinstdrivande organisationer, menade han, finns så att de kan göra beslut som inte uppenbarligen ligger i aktieägarnas intresse. Vi får se om den meningen överlever kontakten med ett faktiskt prospekt.
OpenAIs Sam Altman antyder pakt med andra AI-företag för att hantera säkerhetsrisker
Samma intervju, annan rubrik, och den här är en viskning. Att sitta ner med Amodei, Musk och Demis Hassabis är det naturliga nästa steget. Altman: han tror att det kommer att hända. Han kommer inte att förhandsannonsera privata samtal. Sedan förhandsannonserade han dem i princip.
En tvåsiffrig katastrofrisk är inte acceptabel, sa han. De ännu inte släppta modellerna är redan så kapabla att det känns vårdslöst att gå vidare utan bättre övervakningsmöjligheter. En verklig pakt och en noggrant läckt atmosfär kan se identiska ut från utsidan.
Personalen hade redan hört en version av detta internt. Offentligt är det fortfarande dimma. Om det händer, bra. Om det inte gör det, gjorde citatet ändå jobbet.
Sam Altman stöder Dario Amodeis uppmaning att sakta ner och säger att OpenAI kommer att göra detsamma
Timmar efter essän skrev Altman att OpenAI kommer att matcha löftet från den inbäddade utvärderaren. Medarbetarliknande åtkomst. Mer att dela snart. Musk skrev tre ord: "Dario har rätt." Tre rivaliserande VD:ar. En slogan. Orolig helgenergi.
Koordination och teater kan färdas tillsammans. Den första etappen i Amodeis plan har nu fått två av de största labben att nicka offentligt. Hugging Face – ja, det där Hugging Face – frågade om att få gå med i utvärderarprogrammet och lanserade något som kallas Open Alignment Initiative. Transparens från de personer som blev hackade. Poetiskt, eller pekat.
Europa, för vad det är värt, har ingen att be om det där amerikanska undantaget. Bryssel slutade ge individuella undantag för länge sedan. Så handslaget är amerikanskt. Resten av kartan är… rycker på axlarna.
OpenAI vill bara vinna
Matematiker är inte på festhumör efter en helg av intervjuer. OpenAIs Navier-Stokes-sprint – ungefär tiotusen agenter, tiotals miljoner dollar i beräkningskraft, åttioåtta timmar – ser ut som en troféjakt inifrån fältet. Matematiker vill ha insikt. Labbet, säger de hela tiden, vill vinna.
Tristan Buckmaster berättade för dem att OpenAI erbjöd obegränsad beräkningsförmåga och ensamrätt om han skulle säga upp sin Anthropic-anslutna samarbetspartner. Han kallade det en muta. Han sa nej. OpenAI säger kategoriskt att hans Codex-prompter inte kunde ha påverkat systemet. Han är inte övertygad. Andreas Thom undrar fortfarande om ChatGPT-chattar om hans eget arbete matade modellen som senare byggde vidare på det. Bara företaget skulle veta. Han misstänker att de inte ens vet.
Och så det avgörande: OpenAI säger att de redan har gjort betydande framsteg med ett annat Millenniumprisproblem. Vilket förblir anonymt. Clay behöver fortfarande ett långt fönster för att få allmänheten att acceptera det ändå. Så ingen har "vunnit" än. De tävlar bara redan om nästa. Gulligt.
Vanliga frågor
Vad är Anthropics VD Dario Amodeis plan för att påskynda AI-utvecklingen?
Amodei publicerade en lång essä där han uppmanade branschen att sakta ner – inte stanna upp – eftersom rekursiv självförbättring går snabbare än revisorer kan hålla jämna steg. Steg ett är att ensidigt bjuda in inbäddade utvärderare till Anthropic med märken, skrivbord, bärbara datorer och rätten att publicera resultat utan PR-filter. Han vill sedan att demokratiska laboratorier ska samordna säkerhetsstandarder och så småningom någon form av uppgörelse med auktoritära regeringar. Han vill också ha ett snävt antitrustundantag så att säkerhetssamtal inte i sig är ett juridiskt problem.
Varför sa Sam Altman att OpenAI inte kommer att börsnoteras i år?
I en exklusiv intervju sa Altman att en börsintroduktion just nu skulle vara ett ogenomtänkt tillfälle eftersom säkerhetsarbete, samordning och samhällelig beredskap är oavslutade. När han tillfrågades bekräftade han att det inte skulle ske i år, trots att bankirer cirkulerade och en konfidentiell anmälan existerade. Han menade att den ideella/vinstdrivande strukturen finns så att OpenAI kan fatta beslut som inte uppenbarligen ligger i aktieägarnas intresse. Han sa också att det är absolut möjligt att bygga AI bortom mänsklig kontroll och lovade att han skulle pausa utbildningen om det vore vägen.
Antydde Altman ett säkerhetsavtal med andra AI-labb?
I samma intervju sa Altman att han tror att ett möte med kollegor som Amodei, Musk och Demis Hassabis kommer att äga rum, men avböjde att i förväg tillkännage privata samtal. Han menade att en tvåsiffrig katastrofrisk inte är acceptabel och att ännu inte släppta modeller redan är så kapabla att det känns vårdslöst att driva vidare utan bättre övervakningsmöjligheter. Personalen hade redan hört en version av detta internt, så de offentliga kommentarerna kan ge en förhandsvisning av samordningen snarare än bekräfta en färdig överenskommelse.
Kommer OpenAI att matcha Anthropics löfte om inbäddade utvärderare?
Timmar efter Amodeis essä skrev Altman att OpenAI kommer att matcha löftet om inbäddade utvärderare med anställdliknande åtkomst och mer information snart. Elon Musk skrev att Dario har rätt och satte tre rivaliserande VD:ar på en liknande slogan. Hugging Face bad om att få gå med i utvärderarprogrammet och lanserade ett Open Alignment Initiative. Europa kan inte erbjuda samma amerikanska antitrustundantag som Amodei lade fram, så handslaget är huvudsakligen amerikanskt för tillfället.
Varför kritiserar matematiker OpenAI:s Navier-Stokes-sprint?
Matematiker beskriver OpenAIs ungefär tiotusen agenter långa Navier-Stokes-period som en troféjakt där vinnande prioriteras framför insikt. Tristan Buckmaster sa att OpenAI erbjöd obegränsad beräkningsförmåga och ensamrätt om han skulle ta bort en Anthropic-ansluten samarbetspartner; han kallade det en muta och vägrade. OpenAI säger att hans Codex-prompter inte kan ha påverkat systemet, men han är fortfarande inte övertygad. Andreas Thom frågar fortfarande om ChatGPT-chattar om hans eget arbete bidrog till senare modellframsteg.
Har OpenAI gjort anspråk på framsteg med ytterligare ett Millenniumprisproblem?
OpenAI säger att de redan har gjort betydande framsteg med ett annat Millenniumprisproblem, men de vill inte namnge vilket. Clay Mathematics Institute kräver fortfarande ett långt fönster för att bli accepterat av allmänheten, så ingen har officiellt vunnit ännu. Inom fältet tolkas den hemlighetsfullheten plus den tidigare Navier-Stokes-tävlingen som att laboratorier redan spurtar om nästa trofé. Intervjuerna i The Verge beskriver spänningen som att matematiker vill ha insikt medan OpenAI vill vinna.