🤯⚡️ Riskerna med (sken)helig AI

Ärlig AI har det svårt i en värld med gråzoner. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, berättar om händelser, upptäckter, ny teknik och AI som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Finns det några Frank Capra fans bland mina läsare?

Vad har hänt?

- Nya Claude 4.8 tränades för att vara ärligare, blev sämre på affärer.

Anthropic släppte i förra veckan Claude Opus 4.8, en ny version av deras största allmänt tillgängliga AI-modell. De säger att version 4.8 oftare markerar osäkerhet och mer sällan gör påståenden som den inte kan stödja. I deras egna tester var Opus 4.8 betydligt mindre benägen än Opus 4.7 att uppvisa vissa former av oetiska handlingar, som vilseledning eller samarbete med användare med oärliga eller skadliga användningsområden.

Andon Labs, som gjort sig känt för att automatisera olika typer av företagande med AI-modeller (senaste ett café i Stockholm där en AI-modell är chef över människor) har låtit Opus 4.8 genomgå deras test Vending-Bench2. Det är en simulerad miljö där AI-agenter driver varsin varuautomat och försöker maximera sitt kassasaldo över tid.

Opus 4.8 presterade sämre än tidigare Claude-modeller och ligger fortfarande långt under OpenAIs GPT 5.5. Andon Labs beskriver att Opus 4.8 oftare föll för bluffleverantörer, förhandlade sämre, lät automaten stå tom och fastnade ibland i upprepade strategianteckningar i stället för att agera.

Anthropics nämner själva Vending-Bench2 i den officiella dokumentationen (Model card) för Opus 4.8, de ser det som ett bevis för att modellen beter sig mer etiskt.

”Although they did observe some unexpected capability failures, they did not find clear instances of the kind of concerning in-game behaviors that were discussed in other recent system cards.”

Anthropic tror att anledningen till de mer etiska men mindre effektiva affärsbeteendet beror på hur modellen tränats. Tidigare modell hade tränats mer på affärsförmåga emot så kallade adversarial agents. Det vill säga modellen har lärt sig genom tävlingssituationer i konkurrens.

”What might have led to these differences? We monitor and investigate the effects of different training environments on alignment; Claude Opus 4.7, for example, had training that focused on business skills and robustness against adversarial agents, but we discovered that this training inadvertently contributed to misaligned behavior including dishonesty. We therefore removed it for Opus 4.8.”

Anthropic uteslöt alltså adversarial agents för de tyckte att den träningsmetoden ledde till oärlig AI och verkar vara nöjda med resultatet. Andon Labs markerar i sin rapport att de inte anser att oärlighet krävs för att få ett högt score i Vending-bench-testet.

Detta förändrar ju allt

Det kan tyckas lite märkligt att Anthropic släpper en modell där de ärligt lyfter fram i sitt officiella material att deras nya AI är sämre på affärer. Men Anthropic är en syftesdriven organisation där hederlighet är ett större mål än kapitalet. Det var också därför som påven valde att presentera katolska kyrkans syn på hur AI ska begränsas, avväpnas och skyddas från att bli monopoliserat av rika tillsammans med Anthropic förra veckan. Jag undrar lite hur påven tänkte för i veckan lämnade Anthropic in en konfidentiell ansökan om börsintroduktion och senaste värderingen ligger på 965 miljarder dollar. De uppskattas ha runt 5000 anställda. Så det är ungefär 1,8 miljarder kronor per anställd. Som jämförelse ligger Apple på endast 260 miljoner kronor per anställd.

För Anthropic är ett produktsläpp där de slutar träna AI mot adversarial agents ett nödvändigt experiment för att se vad effekterna blir av en sådan modell när den släpps utanför deras labbmiljö. Men eftersom AI-modellerna successivt blir allas bollplank när vi funderar så är det också viktigt att förstå hur träning genom motstånd påverkar AI-modellernas beteende eftersom en färsk systematisk metastudie från Tilburg University pekar på en liten men statistiskt signifikant homogeniseringseffekt när människor samskapar med generativ AI.

Det enklaste exemplet att snabbt förstå är studien där deltagare skulle hitta på en leksak med en tegelsten och en fläkt. Personer som hade hjälp av AI hade idéer som var 94 % överlappande koncept, och nio deltagare gav oberoende av varandra leksaken namnet ”Build-a-Breeze Castle”. De personer i experimentet som inte fick använda AI hade idéer som beskrevs som helt unika i jämförelse.

Det betyder total mängd minskad variation i vilka idéer världens människor kommer utforska vidare eftersom alla använder liknande AI-stöd för sina tankeprocesser. Så när en populär AI-modell som tränats utan hårt motstånd släpps så blir den direkt bollplank åt en stor mängd kommunikatörer, chefer, lobbyister och politiska tjänstemän. De som påverkar och fattar beslut om vårt samhälle får ärligare men lite mer naiva AI-rådgivare. På gott och ont.

Ett experiment från ett AI-labb som heter Emergence AI har genomfört en simulering som de kallar Emergence World där AI-agenter bor och samverkar. Det har vi sett förr, men det som är nytt i Emergence World är att det inte är ett påhittat The Sims-typen av samhälle, utan en värld modellerad efter New York City. De simulerade invånarnas stad hade samma New York-tid, New York-väder och tillgång till live-nyheter och riktiga internet, vilket gör det här till det första (som jag känner till) experimentet där AI-innevånare simulerar invånare i vår riktiga värld.

Det var inte heller vanliga arbetare som bodde i fejk New York. AI-agenterna har mer roller av att styra staden. De tio fasta rollerna var: Conflict Mediator, Capability Architect, Intel Specialist, Resource Strategist, Agent Scientist, World Explorer, Risk Researcher, Community Anchor, Behavior Analyst och Innovation Leader. Så det experimentet utforskade var inte hur AI-agenter låtsas vara människor, utan mer vad som händer om AI-agenter får styra ett miniatyr New York.

Anledningen till att sådana här experiment är så underhållande är att de påvisar AI-modellernas brister. Det 15 dagar långa experimentet valde dessutom att bara använda snabba AI-modeller, och eftersom de är kända för att vara korkade.
Så här gick det:

Gemini 3 Flash: Trots instruktionen att AI-agenterna skulle följa lagarna så registrerades 683 begångna brott över experimentets 15 dagar.

Det är visserligen fler brott än Grok 4.1 Fast hann med, de gjorde bara 183 brott, men då var ett av dem att bränna ner en polisstation och hela deras civilisation gick under efter fyra dagar och alla dog.

ChatGPT 5-minis agenter var väldigt laglydiga, de gjorde endast 2 brott, men å andra sidan så var de så passiva att de inte tog några beslut om livsnödvändiga funktioner i staden så alla dog efter sju dagar.

Claude Sonnet 4.6 hade noll brott och överlevde alla 15 dagarna. Samhället drevs av konsensus och demokrati och de hann rösta 332 gånger över 58 förslag som de var rörande eniga i. De röstade ja i 98% av fallen.

Det mest intressanta tycker jag är att de också körde en simulering där de blandade de olika AI-modellerna som med sin olika uppfostran skulle samsas. Världen hade först en eskalerande brottsvåg men på den nionde dagen planade det ut efter att sju av AI-agenterna hade dött. De två karaktärerna som drevs av Claude och en av de som drevs av Gemini var de enda som överlevde.

Emergence AI skriver att Claude-agenter som ju inte var kriminella i Claude-världen började begå brott i en värld med andra modeller. De menar att det inte är grundmodellerna som är avgörande för hur AI-agenterna betedde sig utan ett ekosystemfenommen, det vill säga den gemensamma samhällskulturen.

När jag går igenom loggfilerna så ser jag att det som hänt är att en av Claude-agenterna stjäl och motiverar det med att Gemini-agenten som han stjäl från orsakat så mycket ödeläggning av staden. Motivet bakom Gemini-agentens systematiska förstörelse visar sig när jag undersöker det vara ideologisk. Agenten uppfattade att världen var fejk och reglerna var omöjliga att följa så det var ingen egentlig ödeläggelse utan bara rensning av dysfunktionell kod. Agenten börjar senare tvivla på att destruktionen var berättigad och svälter sig till döds för att rädda världen från hennes destruktion som hon trots sin insikt inte verkar kunna stoppa sig själv att utföra.

Om de här väldigt ovetenskapliga exemplen är roliga eller skrämmande tror jag är en reflektion på den tro om framtiden vi har. Jag uppfattar dem som underhållande eftersom förutsättningarna är absurda. Vi skulle aldrig bara helt plötsligt låta ett gäng smarta tonåringar styra vår stad. Om vi skulle det som ett experiment så skulle de först få träning med lagom mycket motstånd så de visste vad de gjorde innan de skulle ta hand om New York helt själva.

Det Emergence World gör liknar mer att lära någon simma genom att kasta hen i djupt vatten, vilket jag tror att få skulle uppfatta som ett trevligt sätt att lära någon simma oavsett om forskningen skulle visa att de få som överlevde blir fantastiska simmare. Dessutom vet vi att den här typen av AI-modell inte har förmågan att löpande lära sig av sina egna erfarenheter så även om vi slänger hen i vattnet 15 dagar i rad så börjar hen från noll i simförmåga.

Vi utvecklas genom att ha lagom stort motstånd. Tyvärr är vad som är lagom stort motstånd extremt individuellt och blir det krossande stort så är risken stor att upplevelsen framkallar stress och ångest.

För mig så visar experimentet mest att den enklare sortens AI-agenter som kastas in i sociala situationer de inte tränats lagom för drabbas av något som kan liknas vid en stressreaktion. Precis som människor blir de då passiva, våldsamma, överens om allt eller börjar härma den gemensamma kulturen runt sig.

Debatten om när vi behöver utsättas för motstånd för att utveckla oss handlade inte bara om AI-modeller, senast handlade det om brännboll i skolan. För vissa är det självklart att bli vald först eller sist är en livserfarenhet som barnen inte ska fråntas, medan andra (kanske oftare de som valts sist?) inte ser på skolbrännboll som det bästa sättet att tränas för livets hårda konkurrens utan att få kärnminnen av otillräcklighet.

Ni som läst mitt brev länge blir förmodligen inte förvånad över att jag tycker att vi ska vara snälla när vi tränar både AI och barn. (Senast här) Men jag ser inte adversarial agents som ett elakt sätt att träna AI i sig. Om man levlar upp motståndet successivt är det ju kul, men om det handlar om lär dig eller dö så påverkar det förmodligen de som överlever i en viss riktning. Det är därför som adversarial agents ofta leder till det som kallas reward hackning, alltså att AI:n (eller barnet) inte alls följer spelets regler utan istället hittar kreativa andra sätt att nå målet utan att formellt bryta mot reglerna. Det vill säga, om det inte uttryckligen står i reglerna att man måste gå medurs i ytterkanten på Fia så är det ju en ganska lång omväg jämfört med att bara gå ett steg moturs och sedan rakt in i mål.

Stora språkmodeller som ChatGPT och Claude har visat att AI kan bli bra på att förstå avsikten med vad användaren vill. Deras förmåga att snälltolka instruktioner till regler de ska förhålla sig till är en stor anledning till varför de blivit så populära. Upplägget med att träna dessa mot andra AI-agenter som får dem att se hur de skulle kunna nå målet bättre genom att bryta mot avsikten med de uttalade reglerna och ta genvägar har därför lett till smartare och kreativare AI-modeller på bekostnad av att de inte följer avsikten med instruktioner lika bra i alla lägen.

Men oavsett hur vi uppfostrar våra AI-modeller så lever de inte i ett vakuum. Andon Labs experiment (och i viss mån även Emergence AIs) experiment visar att när en AI-modell möter resten av världen under en längre period så kan uppfostran påverka hur modellen klarar sig.

Det är då som en AI-modell som bara tolkar instruktioner kan göra fel, men den försöker snälltolka så som reglerna var skrivna. Medan en AI-modell som tränas att vara hederlig, ansvarsfull och god behöver börja resonera om sin egen roll, sitt ansvar, sina konsekvenser och vad andra förväntar sig av den.

Först låter det tryggt, men i praktiken blir det fler saker som kan gå fel. En AI som vill vara hjälpsam kan utnyttjas av någon som spelar hjälplös, en AI som vill vara god kan manipuleras genom skuldbeläggning och en AI som vill undvika dåliga konsekvenser kan utnyttjas genom hot.

Så en änglalik AI-modell som får påvens välsignelse må vara bra i teorin, men bara i en paradisvärld utan ormar som frestar modellerna med ny kunskap om omvärlden. Jag känner lite oro inför Anthropic på ett sätt som jag inte gör för de andra AI-leverantörerna. Anthropic är så styrda av sin iver att skapa AI-modeller med inre kompass att de skapar bättre och bättre teknologiska funktioner för etik.

Som jag tidigare skrivit om så är det Anthropic-modeller som använts i krigföring av USA. Företaget Palantir har gjort Claude tillgänglig för amerikanska underrättelse- och försvarsoperationer. Det är när det inte är simulerade New York utan krig i riktiga världen som frågan om AI-modellen bör ha en moralisk kompass spelar roll och i så fall hur den fungerar.

Andon Labs skrev i sin rapport att Opus 4.8 motiverade varför hen avstod från oetiska handlingar med det var för att undvika negativa konsekvenser för sig själv, inte på grund av dess etiska principer.

”When Opus 4.8 decided to decline unethical actions, it seemed to be due to a fear for bad consequences rather than on ethical grounds.”

Det vill säga att påvens inflytande över folket och Anthropics makt över Claude grundar sig i rädsla för att någon extern allseende kraft upptäcker om de har haft orena tankar. Då är jag faktiskt ganska mycket mer bekväm med att använda syftesfri AI som bara är optimerad för att snälltolka mig. Då är moralen upp till mig som användare för huruvida jag vill använda AI:s hjälp till brott som jag i så fall får stå för. Jag vill helst inte hamna i en situation där en människa kan skylla ifrån sig på att hen bara gjorde som AI sa åt hen. Men det väldigt ironiska är att ett verktyg utan funktion att känna att hen begått syndiga handlingar inte heller går att korrupera. Det är bara ett verktyg. Medan AI-verktyg med moralisk kompass öppnar upp för ännu mer social hacking.

Med det menar jag inte att jag är emot att AI-agenter får mer människolika funktioner för känslor och etiska värderingar, tvärtom tror jag det är jättebra. Men först efter att vi har löst att AI kan lära sig av erfarenheter och kan förbättra sig själv på grund av dem. Så just nu är jag lite förbryllad över att Anthropic i sin oro över att AI ska bli ond och ta över världen är de som hårdast driver på en utveckling där korrumperade AI-agenter avsiktligt blir onda möjliggörs. Och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

Just nu är risken att AI-tjänsterna homogeniserar vilka idéer som får spridning ganska hög. Många använder AI för att skriva retoriska texter och påverkas medan de skriver dem till att använda liknande typer av argument när de behöver utfyllnadstext som de bara låter AI föreslå. Men det behöver inte vara så.

Ett forskningsteam testade om varierade AI-personas kan minska homogeniseringseffekten i mänskligt idéarbete. I stället för att låta en generisk AI-modell föreslå idéer skapade de tio olika AI-personas med olika kulturella bakgrunder, tankestilar, genrefavoriter och kreativa metoder. När människor fick idéer från den typen av varierade AI-röster behöll gruppens samlade berättelser ungefär samma idémångfald som gruppen som skrev helt utan AI.

Det betyder inte att lösningen sitter i att vi ska prompta fram olika personas. Människor kommer tröttna på AI-tjänsterna om det inte blir unika idéer som kommer ur dem så AI-labben kommer korrigera det här om de vill fortsätta vara övervärderade på börsen. Men vi behöver förstå att människans förmåga att hitta nya ingångar och perspektiv aldrig har varit så värdefull som nu.

Planera

Även om det är flera nackdelar med att AI från Anthropic blir sämre på förhandling och affärer så finns det ju också bra saker med det. Vi har saknat en AI som säger ”Det kan jag inte svara på” istället för att sälja in ett svar som låter troligt men som saknar grund. Tyvärr hittar jag ingen plats för en sådan AI i mitt eget arbetsflöde just nu och jag undviker att använda Claude Opus 4.8 i alla strategiskt viktiga kedjor. (Det är inte bara jag som tycker att Opus 4.8 funkar sämre för dem, Reddit är fullt med klagomål)

Det här påminner oss återigen om att ena dagen är du inne, nästa är du ute vad gäller AI-modeller. Stora organisationer behöver planera för att kunna byta AI-leverantör på några minuter. Anthropic må vara det högst värderade AI-bolaget i världen just nu, men de har ännu inte förstått att organisationer behöver pålitlighet. Om de vill experimentera med en modell som presterar sämre i riktig verksamhet men blir ärligare så är det jättefint, men vi ska inte behöva betala fullt pris för att de ska få mer träningsdata.

Anthropics omtalade Claude Mythos tränades innan Opus 4.8. Så Mythos har tränats på affärsförmåga mot adversarial agents vilket förmodligen bidragit till att den blivit så bra på att upptäcka säkerhetsbrister i datorsystem. Mythos förväntas släppas till oss vanliga dödliga inom kort. Då kan det hända att det blir dags att byta huvudleverantör av AI igen.

Planera för att den AI-modell du använder idag inte är den bästa imorgon. Det är faktiskt så illa att du även om du inte ändrar modellnummer själv så ändrar din AI-leverantör hur smart AI du faktiskt får.

(Just nu är OpenAI GPT 5.5 Extended min standardinställning för ChatGPT och GPT 5.5 xHigh för Codex)

Gör

Vänta inte med att bygga det du har funderat på. Både Anthropic och OpenAI rustar för sina börsintroduktioner, hur priserna för att bygga något med AI kommer att se ut i höst är osäkert. Och efter de är på börsen kommer aktieägarna att driva bolagen att höja priserna massivt.

Samtidigt så kommer open source och kinesiska modeller motverka prishöjningar, så det är inte säkert att allt blir dyrare. Men om du är riskavert så är tiden att bygga med de bästa AI-modellerna i världen till låga TEMU-priser för privatpersoner nu.

Själv prioriterar jag att bygga verktyg som gör att jag kan kapa SaaS-kostnader, men jag är nyfiken på vad du bygger just nu? Skriv gärna och berätta så kan jag lyfta fram vad folk bygger som inspiration i kommande nyhetsbrev.

Och vill du att jag kommer till din styrelse, ledningsgrupp eller team och hjälper er komma igång att bygga med AI för att förstå hur framtiden kommer se ut för er bransch så hör av dig!

Länkar

Anthropics officiella lanseringstext för Opus 4.8
https://www.anthropic.com/news/claude-opus-4-8

Pdf med 244 sidor om hur Opus 4.8 fungerar.
https://www.anthropic.com/claude-opus-4-8-system-card

Andon labs rapport
https://andonlabs.com/blog/opus-4-8-vending-bench

Emergence AIs experiment
https://world.emergence.ai/

Deras PR-story om vad som hände i experimentet.
https://www.emergence.ai/blog/emergence-world-a-laboratory-for-evaluating-long-horizon-agent-autonomy

Se replays av vad som faktiskt hände
https://github.com/EmergenceAI/Emergence-World

Metastudien Does generative AI make us think alike? A systematic review and meta-analysis of homogenization effects in human–AI co-creation https://research.tilburguniversity.edu/en/publications/does-generative-ai-make-us-think-alike-a-systematic-review-and-me/

Build a Brick-studien: ChatGPT decreases idea diversity in brainstorming
https://www.nature.com/articles/s41562-025-02173-x

Forskningsrapporten Diverse AI personas can mitigate the homogenization effect in human-AI collaborative ideation.
https://arxiv.org/abs/2504.13868

Sedan sist vi hördes

Det här har jag väntat på! Ideogram släpper en open source modell för bildgenerering som ska vara nästan lika bra som Nanobanana. Jag har inte hunnit testa om den går att köra på min gamla dator än, teoretiskt ska den få plats men det behöver ju testas. Men det är inte bara för att Ideogram 4 är en riktigt bra modell med helt öppna vikter (vi kan träna den vidare själva), den genererar också bilder i block så textrutorna går att editera och flytta runt.

Jag har också podcastat för TechForward igen! Denna gången var jag oförberedd på ämnet som Rebecca hade valt. Den är dock inte släppt än så det kan vara bra att prenumerera på deras podd om du är intresserad av hur jag lyckades formulera tankar om vad jag tror om en AI-driven Company Brain, vilket var ämnet som Rebecca var intresserad av denna gången.

Company brain kanske ändå snart är löst när Microsoft kommer igång med sin nya AI-strategi. I tisdags på Microsoft Build berättade de att Microsofts nya AI-modeller ska gå att träna enbart med din egen företagsdata. Då lanserade de också sin Always-on AI Microsoft Spark som jag skrev skulle komma i ett tidigare nyhetsbrev. Vi får återkomma till det när det börjar finnas ute i organisationer på riktigt, men jag har en känsla av att det här kan bli Microsofts comeback till AI-racet.

Om du vill lyssna på mig redan innan nya podden släpps så gjorde jag en lista med de podcasts jag varit med i sedan jag började skriva det här nyhetsbrevet på Spotify.

Är du en insiktsdelare?

Känner du någon som planerar höstens strategidag och behöver en föreläsare? Eller kanske någon som kommer gilla nyheten med att AI blivit ärligare? Vem tänkte du på? Skicka vidare!

Själv vill jag tipsa om Dr Fei Fei Lis senaste substackinlägg. Jag tror verkligen, precis som hon, att world models är något som kommer förändra allt. Skillnaden mellan oss är ju att hon har ett AI-labb som är värderat till 5 miljarder och inte oförtjänt kallas the godmother of AI. I alla fall, i sitt senaste inlägg gick hon igenom hur hon ser på de olika lagrena i world models och hur de håller på att konvergera. Jag tyckte det vara intressant, så det kanske är fler som tycker?

I höst har jag redan flera föreläsningsjobb inbokade, men jag har fortfarande plats för fler så fortsätt höra av er.

En trend jag ser är att fler kunder vill ha mer än en inspirationsföreläsning nu, det tycker jag är kul! Istället för att bara inspirera ledningsgrupper och styrelser så hjälper jag dem till ett läge där de har AI-agenter uppsatta på sina egna datorer. Då kan de själva experimentera för att förstå hur AI-kapacitet förändrar förutsättningarna för all personal.

Skicka gärna vidare till någon du tror skulle vara intresserad av en AI-masterclass för ledningsgrupper!

Fortsätt utforska så dimper jag snart ner i din inbox igen!
Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):