🤯⚡️AI know what you did last summer

Microsoft adderar fotografiskt minne. Detta förändrar ju allt!

Det här är nyhetsbrevet där Tomas Seo, innovationsstrateg på Phorecast, avslöjar händelser, upptäckter och ny teknik som får honom att utbrista: Detta förändrar ju allt! Du prenumererar på det här för att fortsätta vara steget före med de senaste trenderna och få konkreta tips för att framtidssäkra dig och din organisation. Har du fått det här av en vän? Då vill du kanske starta en egen prenumeration?

---

Vad har hänt?

- Microsoft bygger in AI som ser och kommer ihåg allt du gör.

Denna vecka var det dags för Microsoft att lansera kommande nyheter (som kommer i sommarens och höstens produkter). I och med att de har ett stort samarbete med OpenAI så var det väntat att de skulle visa hur den nya AI-modellen GPT-4o skulle integreras i Windows. På Microsofts nya Surfacelaptops (som Microsoft gång på gång beskriver som mycket snabbare Apples Macbook Air) kommer allt du gör att läggas in i ett lokalt neuralt nätverk och memoreras för att du senare ska kunna fråga Microsoft Copilot om det. 

“På vilken webbsajt var det nu jag läste om att man kan odla hjärnor?”, “Vem var det som skrev till mig för någon månad sen om en rapport med en trendkurva för AI?”, “Min son använde min dator i förrgår, vad gjorde han egentligen?”, alla dessa frågor skulle Microsoft nya funktion Recall kunna svara på (endast körbar på deras nya Microsoft Surfacelaptops)

Microsoft Copilot kan inte bara svara på vad som har hänt utan röstassistenten kan i realtid (i princip i alla fall) kommentera allt du gör. På Microsofts keynote demonstrerade de det med att någon spelar Minecraft och AI ser vad spelaren bör göra, kan inventera vad som behövs för att komma vidare men reagerar också när det kommer oväntade zombies och assisterar spelaren i vad hen behöver göra för att undkomma dessa. AI-rösten uppvisar känslor inför den nya situationen och känns som att det är en riktig person som kikar över axeln på spelaren och assisterar hen.

Detta förändrar ju allt

Second brain – idén om att bygga teknologi för att hjälpa oss att komma ihåg allt vi sett, hört och lärt oss kryper närmare. I Microsofts keynote gav de exemplet att det är absurt att vi kan söka fram något vi vill ha bland all information på internet, men när vi ska söka fram något vi vet finns på vår egen dator så kan det kännas omöjligt. Övergången från att indexera filer i en databas till att skapa neurala nätverk istället säger de ska kunna fixa detta. Sanningen ligger förmodligen i en kombo av olika teknologier, men konsekvensen blir att vi för varje teknikframsteg får mer och mer assisterat superminne.

När jag var liten pratades det om plugghästar, det var personer som fick riktigt bra betyg för de var så bra på att plugga in kunskap. De hårdstuderade inför varje prov och fick utmärkta resultat. Senare i livet blev de läkare och jurister, de fina välbetalda yrkena. En del av öknamnet plugghäst var säkert ett förringande av kompetens på grund av avundsjuka. Idag har vi ett skolsystem som förändrat sig en aning, det är mycket mer fokus på att förstå och kunna motivera varför eleven svarar som hen gör än att svaret blir helt korrekt. Jag menar inte att det förringar betydelsen av kunskapen att ge rätt svar men det har blivit ett skifte. Det märks också i samhället i stort.

Inläsande och memorering av stora kunskapsmängder utantill har blivit omodernt helt enkelt på grund av att det är lätt att söka fram när det behövs. Den tekniska utvecklingen just nu experimenterar med att skapa allvetande databaser (AI) som har memorerat all fakta som finns. Modellernas storlek på minne och träffsäkerhet i återkallande (recall) av rätt minne när det behövs har präglat AI-utvecklingen det senaste halvåret. Och nu blir det dessutom personligt.

Tiden då bra recall var lika med intelligens är över. De smartaste människorna jag känner kan förvisso massor av saker utantill, men det är ju inte plugghästarna som vi tycker är smartast längre? Kanske är det därför som vi inte tycker att AI är så intelligent trots den otroliga kunskapsmängd som vi faktiskt kan använda tekniken till att komma ihåg åt oss idag. De smartaste människorna är istället de som förstår hur de kan söka efter information de tror finns men ännu inte vet om den finns och vad den säger. De som vet hur man fiskar är mätta längre än de som har ett stort lager med fisk. Det är förmodligen därför som en trend för hur techbolag bygger AI-upplevelser håller på att skifta från att direkt ge ett svar på en prompt och istället börja med ett steg av så kallad flow engineering där första delen är att generera fram en arbetsprocess för att sedan i nästa steg följa den.

Förra veckan var det Google will do the googling for you, denna vecka är det Microsoft som bygger in lokalt minne för att din dator själv ska veta vilken powerpointpresentation som din kollega syftar på när hen ber dig att skicka över den senaste rapporten som du presenterade på mötet i förrgår. När vi avkodar hur våra riktiga arbetsflöden ser ut så kan AI på baksidan göra mycket mer träffsäkra antaganden. Därför blir också flow prompting mycket viktigare för att göra att våra AI-system inte bara minns utan även fattar. Om vi inte bara frågar AI frågor utan själva beskriver en tänkt arbetsprocess så blir svaren mycket bättre. Dessutom kommer AI-assistenten minnas dessa arbetsprocesser senare, även när du vill att röstassistenten hjälper dig i realtid.

Den nya realtidsassistenten som Microsoft visar upp lär dyka upp i Apples produkter också. Alla som undrade varför OpenAI skulle släppa sin app som kan se vad som händer på din dator endast för Mac (rullas ut för betalande kommande veckor) fick denna vecka förklaringen. Microsoft måste få lansera den funktionen själv först. Vi kan förutsätta att om människor tycker att funktionen är användbar så kommer de övervinna sin känsla att de blir övervakade och då har vi nått en helt ny nivå av människa-datorinteraktion. Först behöver vi bli övertygade om att det är helt lokalt och att ingen kan komma åt loggningen av vårt exakta beteende. Vi behöver ha kontroll över det så det blir enkelt att göra något i private mode, men sedan kommer vi över det. Precis som att vi googlar obehindrat trots att vi någonstans vet att det avslöjar i princip allt om våra behov och rädslor. Vi är vad vi söker efter. 

Visuell tolkning har legat för långt bakom texttolkning för att de flesta ska ha börjat fundera över hur det förändrar vår vardag. Men nu håller den tekniska utvecklingen på att komma ikapp. Ett par AR-glasögon ihopkopplade med GPT-4o skulle ge dig i alla fall 90% rätt på det svenska högskoleprovet (enligt mina tester). En dator med visuell AI kommer att dopa mediokra e-sport-spelare till att ligga långt över genomsnittet. Inga fler parkeringsböter på grund av feltolkade skyltar och blinda kan se. Högt och lågt, men överallt kommer en always-on visuell AI förändra vår vardag. Men först måste AI-assistenten flytta ur datorn. Det finns gott om produkter med inbyggd kamera som kan dokumentera vår vardag. Glasögon, hörlurar, prylar som vi ska fästa på våra kläder. Alla dessa har legat lite före sin tid och integritetsfrågorna kring ständigt närvarande kameror kommer att bromsa utvecklingen ett tag till. Med always-on realtidsråd om allt vi ser och allt vi någonsin sett kommer en oemotståndlig superkraft, och detta förändrar ju allt!

Vad kan du göra idag?

Förstå

AI-assistenter blir mycket större än bara passiva sökmotorer när de alltid har förståelse för sammanhanget. Om de vet vad jag pysslat med de senaste dagarna, timmarna, sekunderna så kommer förmågan att proaktivt föreslå något jag faktiskt skulle behöva hjälp med öka avsevärt. Vi måste förstå att den initiala rädslan för att bli övervakad successivt kommer försvinna när tekniken är begriplig för alla. I början räckte det inte att sätta telefonen i airplane-mode för att flygpersonal skulle acceptera användning av mobiltelefoner. Den skulle vara avstängd så alla visste att den inte hade sändare igång (det är obegripligt varför den skulle vara avstängd, men det är inte poängen med exemplet). När iPhones airplanesymbol blev tillräckligt känd så kunde den accepteras. Apple har gjort en liknande signaleringsimplementering med lampor som alltid lyser när kameran är aktiv så vi vet att när den inte lyser så filmas inget. Vi kommer förmodligen behöva liknande signaler för AI-system så alla är överens om att de kan få fortsätta vara igång. En hörselnedsatt person ska inte behöva stänga av sin hörapparat, en person med autism kan vilja ha glasögon för assistans med att läsa av kroppspråk i möten. Vi måste förstå att samhället kommer behöva fundera över ett tillåtande sätt för människor att integrera teknik som ger människor kognitiva superkrafter utan att det känns kränkande av personlig integritet.

Planera

Jag har vid flera tidigare tillfällen återkommit till att organisationer behöver planera för hur de dokumenterar hur medarbetare löser uppgifter. Flow prompting är ytterligare en teknologisk trend som kräver att organisationer planerar hur medarbetares dolda kunskap dokumenteras. Om de bästa medarbetarnas processer kan dokumenteras och analyseras så kan organisationen förstå vad som gör skillnad. Detta har i teorin alltid varit sant, men med AI-stödd förståelse för processer så kommer en dokumenterad process bli en flow-prompt som alla medarbetare kan få ha i sin egen AI-assistent. Både uttalade och kulturella krav på att dela med sig av sin arbetsprocess kommer att vara något som organisationer behöver planera för. Det här kan vara något positivt för alla men om det inte hanteras rätt så kan det ses som att sno åt sig erfarenhet som den enskilda individen har kämpat ett helt liv för att lära sig. Planera så att det blir en ömsesidig uppsida i första hand för individen, i andra hand för samhället och i sista hand för organisationen.

I mitt arbetsliv har jag lärt mig att om jag förstår syftet med policydokument snabbt så är det mycket lättare att förstå vad en organisation skulle vilja ha ut av mig. Sedan förra veckan så kan alla använda GPT:s även utan betalabonnemang. Jag bjuder på lite av min erfarenhet i form av  en konspiratorisk GPT jag har gjort som läser policydokument och försöker hitta stakeholders och deras motiv till varför policyn tillkommit. Den simulerar ungefär hur jag kritiskt brukar granska mina uppdragsgivares policies för att förstå deras företagskultur. https://chatgpt.com/g/g-MTYbFxdnT-dfja-s-policy-interpretor

Gör

Ladda ner OpenAIs app, fota massor av saker runt omkring dig och se vad den klarar av redan idag. Tänk dig sedan att ha det igång hela tiden när du vill ha assistans med en svår uppgift. 

Försök leva dig in i en vardag där det här inte blir en flerstegsprocess där du först måste plocka upp telefonen, sedan hitta appen, fota och sedan prompta. Istället är kameran i dina vanliga glasögon eller i dina airpods. Likt Google Maps som avbryter din podcast när du kommer till en korsning så kommer en röst att bekräfta att du drog ut sladden till strykjärnet när du är på väg att låsa ytterdörren eftersom den vet att det är i detta ögonblick som du brukar fråga om du gjorde det eller ej. Är det något du skulle vilja ha?

Länkar

Microsofts berättar om sina AI-nyheter
https://blogs.microsoft.com/blog/2024/05/20/introducing-copilot-pcs/

Microsofts keynote
https://www.youtube.com/watch?v=aZbHd4suAnQ&ab_channel=Microsoft

Johan Eliasson testade GPT4o på högskoleprovet tidigare i veckan.
https://www.linkedin.com/feed/update/urn:li:activity:7198272501850759168?updateEntityUrn=urn%3Ali%3Afs_feedUpdate%3A%28V2%2Curn%3Ali%3Aactivity%3A7198272501850759168%29
Jag fick liknande resultat när jag testade GPT4o på högskoleprovet bara genom att fota av det – cirka 90% av frågorna besvarades rätt. För flera av de frågor som inte fick rätt svar var det ändå en korrekt förklaring av vad svaret skulle vara men med felaktigt bokstavsalternativ. Modellen var också sämre på att läsa komplexa diagram.

Sedan sist vi hördes

Förra veckan bad jag dig om hjälp att göra följande: Skulle du kunna gå in och lajka eller skriva en kommentar om mitt nyhetsbrev här:
https://www.linkedin.com/feed/update/urn:li:activity:7196398903733215232/
Det hela skulle vara ett experiment i hur mycket mer reach jag kunde få på ett inlägg om det blev många kommentarer. Men det blev också en love-fest! Tack till alla som skrivit så vänligt om varför de läser de här nyhetsbreven!! Experimentet är dock inte riktigt slut ännu, för jag skulle vilja se om ett gammalt inlägg kan fortsätta att få reach, så om du vill (och inte redan lajkat eller kommenterat) skulle du vilja hjälpa till att gå in och göra det? Då kanske vi kan se om ett äldre inlägg kan få fart igen och vi skulle kunna tillämpa så kallad evergreen-strategi på Linkedin numera, eller om det ger högre effekt att skriva ett nytt. Redan nu kan jag säga att det är bekräftat att poster utan länkar får mycket högre spridning än poster med länkar.

Är du en insiktsdelare?

Känner du någon som är intresserad av att veta mer om AI-stödda superkrafter? Eller kanske någon som är intresserad av hur vardagen med AI som kollegor kommer utvecklas? Vem tänkte du på? Skicka vidare!

Själv blev jag i veckan inspirerad av AI-forskaren Fei-Fei Li när hon berättar om hur syn förändrade världen för allt liv i sin senaste TED Talk.

Nästa vecka är det igen dags för betalande prenumeranter att få en digital lunchföreläsning blir 30/5 kl 12:00-12:45. Jag kommer berätta om mina experiment med AI-agenter, gå igenom hur du kommer igång med att bygga GPT:er för ChatGPT och avsluta med frågestund. (som vanligt kan vad som tas upp bero lite på vad som har hänt kvällen innan). Tacka gärna ja till inbjudan så jag vet ungefär hur många som kommer.

För betalande medlemmar finns också en sida med de AI-verktyg som jag faktiskt använder. https://dettaforandrarjuallt.substack.com/p/ai-verktyg

Behöver du en invitekod till Krea Video? Kom till DFJAs nya Facebookgrupp så gör vi en invitekedja där. https://www.facebook.com/groups/1673478106390188/
(jag tyckte det blev för få som droppar förbi Discord för att vi ska kunna testa det ordentligt, så det är bättre att vi kör en annan plattform)

Grundbild genererad i Midjourney, animation gjord med Krea, och konverterad från mpg4 till gif för att den ska röra sig även i mejlläsare.

Tomas Seo

Har du fått dagens nyhetsbrev utan att vara prenumerant?
Gillade du det här och vill ha mer så är det bara att skriva upp sig här
(du väljer själv om du vill betala):