🤯⚡️Recept för hur skapande kan helautomatiseras

Komplex forskning kan helautomatiseras. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Vad har hänt?

- Forskare kommer på hur de ska slippa forska själva

Llion Jones som var en av Google-forskarna som skrev den vetenskapliga artikeln Attention is All you need (forskning som möjliggjorde generativ AI) startade förra året Sakana AI tillsammans med David Ha. Även han är tidigare Google-forskare och dessutom tidigare forskningschef på Stability AI. 

Sakana AI har ännu inte släppt sin egen SOTA-modell (State of the Art, det vill säga superdyr träning) men har redan bidragit till AI-utvecklingen med intressanta koncept för hur vi kan kombinera modeller och bolaget värderas till över en miljard dollar. 

Tillsammans med forskare från University of Oxford och University of British Columbia har Sakana AI nu utvecklat ett agentsystem som de kallar The AI Scientist. Systemet kan autonomt skapa forskningspublikationer. Men systemet är mer än bara en ChatGPT som skriver slumpmässig text.

The AI scientist undersöker vilka idéer som är nyskapande, den designar och genomför experiment och har en feedbackloop för att utifrån en automatisk peer-review (forskares benämning på kvalitetskontroll) sedan förbättra, förfina eller förkasta sina idéer tills den har skapat ny forskning som är relevant och korrekt.

The AI Scientist har redan lyckats generera nya insikter inom avancerade forskningsområden som diffusionsmodeller, transformatorarkitekturer och grokking, och har visat sig vara både kostnadseffektiv och snabb i sina processer. Varje ny forskningsartikel som systemet genererar kostar cirka 15 dollar i driftskostnad per artikel och koden finns tillgänglig för alla på GitHub.

Detta förändrar ju allt

På papperet liknar The AI-scientist uppbyggnad processmodeller för skapande som vi sett förr. Varje reklambyrå har en. Det är först idégenerering, sedan utforskning och så någon form av produktion. Så lite pilar mellan och gärna några loopar som visar att vi jobbar iterativt med feedback. Men det är också för att arbetsflödet är så familjärt som det här är så intressant att de klarar av att automatisera det.

Vad Sakana AI lyckats med är att implementera ett grundläggande recept för kreativt skapande i ett automatiskt system. Det finns tre nyckelfaktorer som liknande agentprojekt har saknat.

1. Systematisk idégenerering med utvärderingskriterier.

2. Människoskapade mallar för hur AI-agenten ska tänka när den genererar utforskande experiment.

3. Avslut. Tidigare agenter har antingen aldrig känt sig nöjda utan fortsätter loopa för evigt, eller så har de avslutat alldeles för tidigt och kvaliteten har känts undermålig.

I det här nyhetsbrevet tänkte jag först att jag skulle testköra deras system, men efter att ha tittat närmare på det så insåg jag att det bara skulle skapa vetenskapliga artiklar på en intellektuell nivå som skulle swoosha helt över mitt huvud. Vad jag hade velat göra är skapa ny vetenskap inom något område jag kunde förstå :) Istället började jag gå igenom vad som skulle krävas för att använda deras recept för att skapa något nytt inom andra områden.

Här är vad vi kan lära oss av hur de gjort och hur vi skulle kunna applicera det på AI-system vi bygger för att producera kreativa nya idéer för andra saker än vetenskapliga artiklar. Jag  exemplifierar genomgående med hur vi skulle göra för att automatiskt producera en annons, men du kan ju tänka dig vad det skulle kunna vara inom din egen organisation istället.

I Sakana AIs mallar ingår ett urval av människogenererade idéer på utkast till nya vetenskapliga artiklar som skulle kunna vara intressanta att skriva. Det vill säga för att få bra kvalitet på nya idéer från AI-system så behöver du själv ha hög kvalitet på embryon till idéer som kan vara intressanta att utforska. Det betyder att för att du ska kunna bygga ett automatiskt produktionssystem för det du vill producera så måste du själv först producera en mängd olika typer av intressanta idéer av hög kvalitet som kommer fungera som exempel på vad du vill ha. The AI-Scientist har cirka 50 idéer för varje typ av vetenskapsområde som den ska kunna producera. Dessa idéer är sedan poängsatta. Här är ett exempel:

"Name": "syntactic_complexity_aware_gpt",

"Title": "Syntactic Complexity-Aware GPT: Adapting Attention to Syntactic Complexity",

"Experiment": "Modify the GPT model to incorporate a syntactic complexity estimation module using the Flesch-Kincaid readability test. The estimated syntactic complexity will be used to adjust the attention weights in the model, with more attention allocated to complex or difficult input texts. Evaluate the model's performance on language modeling tasks using a dataset with varying levels of syntactic complexity.",

"Interestingness": 9,
"Feasibility": 8,
"Novelty": 8,

"novel": true

Som ni ser så tilldelas exempelidéer deskriptiva titlar. De ger också exempel på ett experiment som agenten skulle kunna genomföra för att bevisa teorier. Efter det har de betygsatt exempelidéerna i tre kategorier på en skala från 1-9. Jag ser några idéer som har så dåligt betyg som 4 i någon enstaka kategori men det verkar inte som man behöver ha med dåliga idéer för att exemplifiera vad som borde ge riktigt dåligt betyg. Slutligen så har det med en check för om idén är “novel”. I exemplen är den ifylld, men när AI-scientist genererar nya idéer så genereras inte den utan det är något som checkas av i ett senare steg.

Så för att göra ett liknande agentsystem för en tidningsannons så skulle vi behöva ett femtiotal exempel på ganska bra idéer till annonser (det kan ju vara sådana vi redan har gjort) och dessa behöver poängsättas.

Men det sista steget i idéutvärderingen är svårast att få till för andra branscher. För vad The AI-scientist gör är att de kopplar ihop idégeneringeringen med en utvärderingssökning i en databas över vad som redan finns. Istället för att förlita sig på att en AI kan avgöra om något redan finns baserat på träningsdata så gör AI-agenten en sökning i en faktadatabas. 

För vetenskapliga artiklar finns det flera sökningssystem som datorsystem kan använda. Men för annonser finns det inte lika heltäckande sätt att kontrollera vad som är ”novel”. Här kommer vi att behöva uppfinna ett annat sätt att kontrollera vad som är nytt automatiskt, eller göra ett halvautomatiskt system där en människa klickar sig igenom en lista med genererade idéer för att systemet sedan ska kunna fortsätta jobba. Det är typ vad en Creative Director på en byrå ska göra – kolla igenom vad kreatörerna har för idéer och styra dem bort från sådant som redan är gjort eller inte värt att utforska.

Generering av experiment är mycket svårare för en annons än för vetenskapliga artiklar inom datavetenskap just nu. För vad the AI-Scientist gör är att skapa körbar kod som testar matematiska teorier. Men här skulle vi istället behöva skapa kod som skapar olika typer av  bilder, typsnitt och layouter av bilder och texter. Idag har vi bara olika delar till ett sådant system och att pussla ihop dem skulle kräva mycket tid. Men om ett år har vi säkert fått nya verktyg som gör det enkelt att sätta ihop dessa delar utan att koda allt för mycket.

Betyder The AI-Scientist att vi kommer att överflödas av dålig vetenskap? Jag tror inte det. Deras sätt att bygga in kontrollmekanismer för att leverera hög kvalitet gör att vi förvisso kommer få mer vetenskap snabbare, men i och med att de inte bara levererar en ihopfantiserad vetenskaplig artikel utan även data från genomförda experiment med upprepningsbar körbar kod så är det rätt svårt att släppa igenom dålig forskning. Såvida inte människan som godkänner forskningen inte skippar att kontrollera att datan stämmer och är upprepningsbar vill säga. 

Jag tycker det här är väldigt spännande eftersom det är ännu en pusselbit i frågeställningen kring hur vi skapar AI-system som kan skapa nya idéer som fungerar på riktigt, och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

Skit in skit ut gäller fortfarande. The AI-Scientist är helt beroende av att ha bra grundmaterial av exempel på hur du värderar idéer för att förstå vad som är intressant. Det är dock en tidsfråga innan nästa generations AI klarar av att själv kvalitativt utvärdera sina egna idéer utan att vi behöver förprompta. Alla de stora AI-modellernas nästa steg handlar om att bli bättre på att utvärdera sina egna resultat och baserat på dem komma på stegvis planer för att förbättra dem.

Planera

Jag har skrivit om det flera gånger innan, men alla organisationer behöver ha en process för att samla och organisera exempel på högkvalitativa idéer eller koncept som AI-system kan använda för att generera nya insikter inom sina verksamhetsområden. 

Nytt för idag är dock att fundera över hur er organisation transformeras från en organisation som producerar högkvalitativa output till en som samlar in högkvalitativa input. Ni måste alltså ha större fokus på att er omvärldsbevakning sker systematiskt så att den data som AI-systemen ska checka av om något kommer uppfattas av marknaden som nytt och relevant är ständigt aktuell.

Gör

Har du inte testat att använda ClaudeAI än så är det dags att göra det. Alla nya agentmodeller föredrar Claude framför ChatGPT just nu.

Länkar

Sakana AI berättar om AI-Scientist
https://sakana.ai/ai-scientist/

Koden till AI-Scientist
https://github.com/SakanaAI/AI-Scientist

Ett annat av Sakana AIs coola projekt där de låter olika AI-modeller para sig och skapa en evolutionär utveckling av nya bättre modeller.
https://sakana.ai/evolutionary-model-merge/

Sedan sist vi hördes

Under sommaren har i princip allt vi kunde om (generativ) AI blivit inaktuellt. De flesta tjänsterna har hunnit med både att bli utkonkurrerade och lyckats släppa nya versioner som gjorde dem relevanta igen. AI har stadigt gått mot att vara mer en commodity, folk bryr sig mindre om vilken tjänst som genererar bilder och texter då kvaliteten är ganska jämförbar. Det betyder att det blir viktigare att vara distinkt urskiljningsbar även som tillhandahållare av AI-tjänster.

Här är en snabbguide för vad du missat om AI-utvecklingen under sommaren:

• Om du betalar för ChatGPT så byt till Claude.ai, det är bättre just nu och omväxling förnöjer.

• Vill du fortsätta vara specialist på AI-bilder. Midjourney härskar fortfarande med sin nya version 6.1, men överväg att ta tiden som krävs för att förstå ComfyUI (du installerar det lättast via Pinokio om du vill ha det lokalt).

• Är det musik du vill generera, då är Suno och Udio en smaksak, de är bättre än innan sommaren men i princip samma. Suno klarar nu att dela upp musik i olika lager för olika instrument (stems), vilket är en game changer.

• Inom video så väntar vi på prissänkning för Runwayml som ska komma snart. Alla modeller jämför sig fortfarande med Sora, och ingen av dem, inte ens Sora, håller den kvalitet som vi förväntar oss än. (Jag gillar fortfarande LumaLabs bäst, men nytt för sommaren var ju att vi också fick tillgång till kinesiska KlingAI).

• För dig som vill bygga eget så finns det nu open source att bygga vidare på som är i princip lika bra som de största och bästa AI-modellerna.

Är du en insiktsdelare?

Känner du någon som är intresserad av att få ett recept på AI-automatisering av kreativa processer? Eller kanske någon som skulle behöva min hjälp att göra internutbildning för att komma igång med AI? Vem tänkte du på? Skicka vidare!

Själv blev jag inspirerad till veckans bild av Nicklas Hermanssons senaste nyhetsbrev där han skrev om konspirationsteorierna kring att Raygunn dansade breakdance dåligt som ett sätt att skapa forskning.

I höst kommer jag bland annat att gästföreläsa på Berghs kurs Content Engineering (en kurs som jag var med och utvecklade förra året), och om din organisation behöver någon som kommer och pratar om AI, framtid eller något annat som du läst om i något av mina nyhetsbrev så är jag bokningsbar.

Just är du en av de 1600 som prenumererar på det här nyhetsbrevet, det kanske inte låter så mycket, men jag tänker mig er alla i ett enda rum. Uj vad många ni är! Tack för att ni läser och delar! 

Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):