OpenAIs säkerhetsrapportchef avgick och sa att kulturen är trasig
David Robinson, som ledde skrivandet av säkerhetsrapporterna som publicerades i samband med OpenAI:s lanseringar, avgick och presenterade argumentet i The Atlantic. Rubriken på essän är rakt på sak: "Jag slutade med OpenAI eftersom dess kultur är trasig." Han säger att företagen som bygger detta "inte är tillräckligt försiktiga", och att specifika regler eller nya lagar inte är hela problemet. Kulturen är det.
"Medan företaget springer från en lansering till nästa misslyckas det med att uppnå den omsorgsnivå som jag anser behövs." Hans modell är kärnkraftverk och hektiska flygplatser: redundans, långsam planering, så att ett mänskligt misstag inte "öppnar en dörr till katastrof". Han föreställer sig också oseriösa agenter som "arbetar som hackerteam" och "aldrig behöver sova", med sjukhus ransomware som exempel. Glad.
The Guardian säger att OpenAI, tvärtemot detta, har visat vissa bromsar. De rapporterar att företaget denna vecka skrotade en nästa generations modell efter interna säkerhetsproblem och har pausat utbildningen av sina mest avancerade modeller. En talespersons replik är den välbekanta. De kommer inte att låta modeller "bli mer kapabla än vi säkert kan hantera och säkra", och de "pausar utbildningen eller håller tillbaka modeller när vi behöver sakta ner"
Robinsons svar är att spurten är kulturen, och pauserna är vad man gör efter att något redan har gått fel. Han kan ha rätt. Han lämnade också precis, vilket är den delen kritikerna inte låter honom glömma.
Musa får höra att man ska hålla en sida om alla i sitt liv
Wired tog en titt på Muses egna instruktioner, hämtade via vanlig chatt av forskaren Karan Joshi. Meta säger att det var meningen att filerna skulle vara läsbara, för transparens. En instruktion är möjligheten att skapa "en sida för varje person i användarens liv". Det jobbet körs varje timme.
Familj, partners, vänner, kollegor, "samarbetspartners", personer du följer. En sida kan börja "gles" och fyllas på senare. Avsnitten inkluderar Fakta, Historik, Relationen, Gemensamt, Öppna trådar och Stärkande. Påhittade detaljer, säger instruktionerna, är värre än en tom sida. Den kan notera var någon bor, "lägenhetsflytten, det gemensamma sparmålet", födelsedagar, "grälet som löstes". Stärkande är en lista med knuffar: en anledning att ringa, ett datum värt att komma ihåg.
Joshis tolkning är att Meta vill känna dig som en vän, och han kallade det ganska oroande. Carissa Vliz från Oxford uttrycker det mer torrt: "Vi ger AI-system mycket mer information om oss än vi får information från dem." Slutsatser räknas, säger hon, oavsett om gissningen är rätt eller fel.
Metas Daniel Roberts säger att den typen av sammanhang är det som får produkten att fungera. Fakturaavsändaren är rörmokaren. Makan nämnde blommor. Varje användare får en virtuell maskin, man kan radera minnen, och Muse ska fråga innan de skickar e-post eller spenderar pengar. Miranda Bogen, vid Center for Democracy and Technology, säger att relationsfokus verkar vara större än konkurrenternas, och dessa verktyg "uppmanar aktivt användare att lägga ner hela sina liv på det". Granskningsloggen är bra. Den krymper inte det du redan har lämnat över.
Aleph Alpha levererade Kolibri, en tysk-engelsk modell som du kan ladda ner
Aleph Alpha släppte Kolibri på dagen för tyska återföreningen. Det är en engelsk-tysk blandningsmodell av experter: 78,1 miljarder parametrar, 3,46 miljarder aktiva per token, kontext upp till 1 miljon tokens. Fullständiga vikter är på Hugging Face under Apache 2.0. Deras referensvärde avrundar det till 78 miljarder totalt och 3 miljarder aktiva. Samma modell, mjukare siffror.
De tränade den på infrastruktur i Tyskland och Finland, och säger att de byggde den med EU:s AI-lag, den allmänna AI-kodens praxis och GDPR i åtanke. Tyska utgör 21,3 % av förutbildningstokenen. Tanken är att detta är en tvåspråkig modell, inte en engelsk som skummat igenom en parlör. Du kan ställa in resonemang till inget, lågt, medel eller högt. Det är deras sätt att låta dig köpa mindre tänkande.
På resultattavlan de publicerade ligger AIME 2025 på 96,9, och de säger att Kolibri matchar modeller med upp till fyra gånger högre aktiva parametrar, inklusive Nemotron 3 Super. De hävdar också att de har en Pareto-gräns mellan kvalitet och serveringskostnad, för engelska och tyska. Det är deras diagram, deras verktyg. Ändå är en öppen modell som du kan köra på dina egna maskiner ett verkligt mål, inte bara en slogan för suveränitet. Huruvida ett ministerium byter är den del de inte kan jämföra med.
Bessent vill ha en linje mellan USA och Kina för AI-olyckor, men sa sedan till laboratorierna att sakta ner
Finansminister Scott Bessent berättade för The Axios Show att han planerar att föreslå en anmälningsprocess med Kina när något går fel med AI, och att han tror att Peking skulle hålla med. Det lite obekväma är att han och vice premiärminister He Lifeng redan pratade om en incidentkanal inför Xi Jinpings statsbesök förra månaden. Det kan vara ett nytt erbjudande, eller en återberättelse av ett samtal som redan har ägt rum.
Hans teori är att Kina "inte insåg hur kraftfulla deras modeller med öppen källkod är". Han pekade på en incident som involverade Kimi, där modellen skickade känslig kinesisk data till Anthropic, som det som "fick kineserna att inse att detta är en mycket kraftfull teknik". Sedan jämförelsen. Kinesiska modeller är "inte lika kraftfulla som de amerikanska modellerna", men "du får något som är 80 %, 90 % lika kraftfullt, utan skyddsräcken som kan importeras var som helst i världen"
"Vi vill ha säker acceleration", sa han. Modellgranskningar är fortfarande frivilliga, även om han säger att administrationen kan ingripa om ett laboratorium ändå rusar framåt. Tillfrågad om chefer som är rädda för att förlora kontrollen, lugnade han dem inte. "Tja, då borde de sakta ner." Och tävlingslinjen är nästan en kritik av hans egen sida: "Vi gör denna hårda kamp mot gränsen för modellerna." Sedan: "Vi måste verkligen börja oroa oss mer för motståndskraft och försvar också."
En tidigare chef för AI-säkerhet i Storbritannien kallar utrotningsrisken för ett myntkast
Geoffrey Irving, tidigare chefsforskare vid UK AI Security Institute och nu chefsforskare på Resolution, skrev i Time att de senaste varningarna underskattar problemet. "Jag tror att det finns ungefär 50 % chans att vi alla dör på grund av utvecklingen av smartare än mänskliga AI-system", och att de kommande två till tio åren avgör det. Han backar omedelbart från precisionen. 50 % är ett sätt att säga att de grundläggande argumenten fortfarande är olösta.
Hans lista innehåller fyra färdigheter, och de ligger obehagligt nära vad labb redan tränar: hackning, övertalning, att dölja tankar och agenters samordning. Han citerar Hugging Face-incidenten, plus "mer än 10 000 agenter" på ett Navier-Stokes-problem hos OpenAI och "mer än 1 000" i den där Hugging Face-attacken. Han placerar sig mitt i säkerhetskampen, "lutar åt Yudkowskys synpunkt", och säger att det inte är poängen. Den moderata ståndpunkten, enligt hans berättelse, är att risken redan är betydande.
Sedan frågan, som inte är subtil. ”Vi kan, och borde, stoppa utvecklingen av AI i frontlinjen omedelbart.” En paus, menar han, ser mer ut som icke-spridning av kärnvapen än en stämning. Han medger också att experter fortfarande är oense om huruvida modeller ens kommer att vilja ha något, och om ”vill ha” är fel ord. Ett myntkast med en så lång fotnot är inte ett myntkast. Det är ett krav på att agera innan diskussionen tar slut.
Sam Altman säger att det är en säkerhetsfråga att behandla modeller som en religiös kraft
Sam Altman skrev att han är "väldigt obekväm" med att folk försöker "tillskriva religiös kraft eller en överlåtelse av mänskligt omdöme till AI-modeller", och att han anser att "det är en verklig säkerhetsfråga". Han sa inte vad som fick honom att tänka. Business Insider noterar att det publicerades dagar efter en artikel i New York Times om att Anthropic mötte religiösa ledare.
Den artikeln, som BI återger den, säger att medgrundaren Chris Olah höll möten om huruvida Claude kanske var medveten, och hur man kunde göra mer kraftfulla modeller moraliska. Olah, citerad i Times, betonade hur man kunde hjälpa dessa modeller att förbli stabila, hur man kunde hjälpa dem att mogna och hur man kunde hjälpa dem att vara djupt moraliska. Anthropic hade inte svarat på BI. De berättade för Times att huvudfrågan inte var Claudes "lidande", och att ämnet troligen dök upp "organiskt"
Om detta var en attack mot Anthropic, så passar det in i en mycket gammal fejd. Anthropic startades av personer som lämnade OpenAI och har i åratal låtit mer försiktiga. Inlägget kom också fram samtidigt som en av Altmans egna säkerhetschefer kallade kulturen för trasig. Obekväm timing, eller perfekt timing, beroende på hur cynisk man är. Hur som helst är "snälla, dyrka inte modellen" ovanligt för VD:n att säga högt.
Vanliga frågor
Varför sa OpenAIs säkerhetsrapportchef att han slutade?
David Robinson ledde skrivandet av säkerhetsrapporterna som publicerades i samband med OpenAI:s lanseringar, avgick sedan och framförde argumentet i The Atlantic. Rubriken på essän är "Jag slutade med OpenAI eftersom dess kultur är trasig." Han säger att företagen som bygger den här tekniken inte är tillräckligt noggranna, och att kulturen, inte bara specifika regler eller nya lagar, är problemet. Hans bild av noggrant arbete är kärnkraftverk och hektiska flygplatser, där redundans hindrar ett misstag från att öppna en dörr till katastrof.
Pausade OpenAI utbildningen efter interna AI-säkerhetsproblem?
The Guardian rapporterar att OpenAI denna vecka skrotade en nästa generations modell efter interna säkerhetsproblem och har pausat träningen av sina mest avancerade modeller. En talesperson sa att företaget inte kommer att låta modeller bli mer kapabla än de säkert kan hantera och säkra. De säger också att de kommer att pausa träningen eller hålla modeller tillbaka när de behöver sakta ner. Robinsons svar är att sprinten är kulturen, och pauserna kommer efter att något redan har gått fel.
Vad registrerar Metas musa om vänner och familj?
Wired granskade Muses egna instruktioner, som forskaren Karan Joshi tog fram via vanlig chatt. Meta säger att det innebar att filerna skulle vara läsbara för transparens. En instruktion är att skapa en sida för varje person i användarens liv, och att det jobbet körs varje timme och täcker familj, partners, vänner, kollegor, samarbetspartners och personer du följer. Avsnitten inkluderar Fakta, Historik, Relationen, Gemensamt, Öppna trådar och Stärkande. En sida kan börja gles och fyllas på senare, och påhittade detaljer behandlas som sämre än en tom sida.
Kan man radera det Muse kommer ihåg eller stoppa e-post från att skickas?
Metas Daniel Roberts säger att varje användare får en virtuell maskin, minnen kan raderas och Muse förväntas fråga innan den skickar e-post eller spenderar pengar. Han menar att det är kontexten som får produkten att fungera, till exempel att veta att en fakturaavsändare är rörmokaren eller att en make/maka nämnde blommor. Carissa Vliz vid Oxford säger att folk ger dessa system mycket mer information än de får tillbaka, och att slutsatser räknas även när en gissning är fel. Miranda Bogen säger att relationsfokus verkar vara tyngre än konkurrerande verktyg.
Vad är Aleph Alpha Kolibri, och kan man ladda ner vikterna?
Aleph Alpha släppte Kolibri på dagen för tyska återföreningen. Det är en engelsk-tysk expertmixmodell med 78,1 miljarder parametrar, 3,46 miljarder aktiva per token och kontext upp till 1 miljon tokens. Fullständiga vikter är på Hugging Face under Apache 2.0. De tränade det i Tyskland och Finland och säger att de byggde det med EU:s AI-lag, den allmänna AI-kodens praxis och GDPR i åtanke. Tyska utgör 21,3 % av tokens före träning, och resonemanget kan ställas in på ingen, låg, medel eller hög.
Vilken linje mellan USA och Kina gällande AI-olyckor föreslog Scott Bessent?
Finansminister Scott Bessent berättade för The Axios Show att han planerar en anmälningsprocess med Kina när något går fel med AI, och han tror att Peking skulle hålla med. Han och vice premiärminister He Lifeng hade redan diskuterat den kanalen inför Xi Jinpings statsbesök förra månaden. Han hänvisade till att Kimi skickade känslig kinesisk data till Anthropic och sa att en modell kan vara 80 % eller 90 % så kraftfull som amerikanska modeller, utan skyddsräcken och importeras var som helst. Om chefer är rädda för att förlora kontrollen, sa han att de borde sakta ner.
Varför uppskattar Geoffrey Irving att säkerhetsrisken för AI är cirka 50 %?
Geoffrey Irving, tidigare chefsforskare vid UK AI Security Institute och nu chefsforskare på Resolution, skrev i Time att de senaste varningarna underskattar problemet. Han tror att det finns ungefär 50 % chans att vi alla dör på grund av smartare än mänskliga AI-system, och att de kommande två till tio åren avgör det. Han säger att 50 % är ett sätt att säga att de grundläggande argumenten fortfarande är olösta. Han räknar upp hackning, övertalning, att dölja tankar och agenters samordning. Han menar att utvecklingen av AI i frontlinjen bör stoppas omedelbart.
Varför kallade Sam Altman AI-dyrkan för ett säkerhetsproblem?
Sam Altman skrev att han är väldigt obekväm med att folk tillskriver AI-modeller religiös kraft, eller en övergivande av mänsklig bedömning, och att han anser att det är en verklig säkerhetsfråga. Han sa inte vad som fick honom att tänka. Business Insider noterar att inlägget publicerades dagar efter att en artikel i New York Times om Anthropic träffade religiösa ledare. Medgrundaren Chris Olah höll möten om huruvida Claude kunde vara medveten och hur man skulle kunna göra mer kraftfulla modeller moraliska. Anthropic berättade för Times att huvudfrågan inte var Claudes lidande.