Vad som driver mig

Jag har varit engagerad i utbildningsfrågor sedan jag gick på högstadiet, och anser att utbildning är något av det viktigaste som finns i ett modernt samhälle. Sedan 2018 har jag varit intresserad av AI, och följt utvecklingen noga sedan december 2022. Jag tycker med andra ord att både utbildning och AI är mycket viktiga frågor.

De bästa möjligheterna att påverka AI i skolan

Från våren 2023 till sommaren 2024 ledde jag Skolverkets arbete med frågor som rör AI och utbildning. Det låter skrytsamt, men jag vill påstå att gruppen jag ledde började från mer eller mindre noll, och lyckades ta Skolverket till en plats där myndigheten betraktas som proaktiv – och det i ett område som rör sig så snabbt som AI.

På ett drygt år nådde vi uppskattningsvis 20 000 pedagoger med webbinarier, föreläsningar, konferenser och filmer. Vi träffade omkring 30 myndigheter och nationella organisationer som också jobbar med AI och utbildning, och hjälpte oss alla att hitta samarbeten och få överblick över vilket arbete som görs – och inte görs. Och vi samarbetade även med organisationer och utanför Sverige.

Från att Skolverket som mest blivit omnämnda i en bisats när AI och skola diskuterades i media, var vi i stället regelbundet med i tidningar, radio och tv för att förklara vad AI betyder för skola. Vi startade ett arbete med strategisk framsyn om AI på myndigheten, för att få bättre inblick i vad utvecklingen kan betyda för skola och Skolverket på sikt. Och vi lyckades engagerade chefer på alla nivåer i frågan om vad AI-utvecklingen betyder för skola och utbildning.

Kort sagt lyckades gruppen jag ledde riktigt bra. Det är rimligt att säga att jobbet jag hade var det med mest möjlighet att påverka hur AI landar i skolan. Det är en oerhört viktig fråga – inte bara för skolan utan för samhället, eftersom utbildning kommer att spela en stor roll för hur samhället kan hantera AI-omvandlingen.

Ändå valde jag att säga upp mig, utan att ens ha ett annat jobb att gå till. Varför?

Det finns stora risker med AI

Min bedömning är att AI-utvecklingen sannolikt kommer att medföra enorma förändringar i samhället, globalt. Informationslandskapet kommer att förändras, och allt innehåll som inte är verifierat kan ha en AI som avsändare – från bloggposter och bilder på Instagram till telefonsamtal och vänner på nätet. Arbetsmarknaden kommer att skakas om, inte omöjligt så pass ofta att den hinner falla omkull igen innan den kommit på fötter från förra smällen. Utbildning, sjukvård, kommunikation, krigsföring och ekonomi kommer att ändras. Maktstrukturer kommer att skifta.

Allt detta innebär stora påfrestningar för samhället, med risk för att delar av det går sönder. Och det skulle kunna hända även om AI-utvecklingen bromsar in, om den teknik som finns redan idag används offensivt. Om utvecklingen fortsätter i samma takt eller accelererar, vilket det finns goda skäl att tro, blir riskerna för sprickor i samhället större.

Ovanpå det finns scenarier där AI aktivt används för att orsaka skada. AI-utvecklingen är på väg att göra intelligens mer tillgängligt, för alla. Det är en bra sak på många sätt, men det är också ett verktyg för till exempel organiserad brottslighet. Vi måste räkna med fler och bättre automatiserade cyberattacker, och mer kraftfulla bedrägerier, hot och utpressningar. Vi måste räkna med att terrororganisationer får bättre möjlighet att planera och genomföra attentat, att auktoritära stater får lättare att övervaka och kontrollera, och att extremister och domedagskulter försöker ta hjälp av AI för att orsaka så mycket skada som möjligt – även om de själva skulle dö.

Det är viktigt att minska riskerna

Det finns fler exempel att ta, men min poäng är att AI-omvandlingen som är på gång innehåller risker på en nivå som kan vara farliga för samhälle, världsordning eller till och med vår civilisation som helhet.

Experter gör olika uppskattningar av hur stora de här riskerna är, från försumbar risk för skador på samhällsnivå till mer än 99 procents sannolikhet att alla människor dör. Det finns flera sammanställningar och sammanvägningar av experters uppskattningar, och det finns olika försök att göra systematiska beräkningar på hur stora riskerna faktiskt är. Min hållning är att ingen av dessa kan ge exakta eller tillförlitliga svar – men också att exakta procentsatser inte behövs. Risken att AI-utvecklingen inom tio år har gett stora skador på samhällsnivå är tillräckligt hög för att ta på allvar.

Jag valde att säga upp mig från mitt jobb med AI och skola för att försöka bidra till att minska de storskaliga riskerna med AI. Det gör man inte genom att styra hur AI används i skolor i Sverige (eller EU). För att göra det måste man påverka riktningen på själva AI-utvecklingen – globalt.

Säker AI ger enorma möjligheter

Dagens AI har några fundamentala brister. Vi kan inte överblicka hur AI-modellerna fungerar. Vi kan inte förklara varför de fattar vissa beslut eller levererar specifika resultat. Vi kan inte förutsäga hur de beter sig i nya situationer, och vi lyckas inte hindra dem från att bete sig på olämpliga sätt.

För att kunna dra nytta av AI i full skala måste vi kunna lita mycket mer på AI-systemen än vad som är fallet idag. Med pålitlig AI kan vi förbättra beslutsfattande i samhället, accelerera forskning inom allt från cancer till förnybar energi, och ge högkvalitativ utbildning och sjukvård till alla.

Forskning för att skapa pålitlig AI går framåt, men enormt mycket mer resurser läggs på att skapa större, mer kapabla och mer lönsamma AI-modeller – modeller som har de fundamentala brister som nämns ovan. Skillnaden mellan dem är som en löpartävling med en hare och en sköldpadda, men utan någon vänlig berättare som ser till att sköldpaddan har en chans att komma ikapp.

För att ge pålitlig AI möjlighet att vinna behövs en rad saker. Det behövs mer resurser till forskning på AI-säkerhet, men det behövs också spelregler som gör att de största AI-modellerna inte är de mest lönsamma om de inte samtidigt är tillräckligt pålitliga. Det behövs också diplomati och globalt samarbete, eftersom AI-risker kan ha globala effekter. Och det behövs mer arbete för att ens veta vilket arbete som behövs.

Mitt mål är att bidra till att minska globala AI-risker, och förbättra förutsättningarna för pålitlig AI. Det är ett djärvt och ambitiöst mål, men också tillräckligt viktigt för att satsa på.

Falk AI är ett konsultbolag som jag använder för att bygga kompetens och erfarenhet för att kunna bli anställd på en plats där jag har chans att minska globala AI-risker.