Tänk dig följande:
Du har hittat en intressant men omfattande forskningsrapport. Den är på över 150 sidor så du låter din AI-kollega ChatGPT läsa och sammanfatta det viktigaste åt dig. Summeringen visar en del slutsatser som fångar din uppmärksamhet. Baserat på en av dessa slutsatser gör du ett antagande som du sedan spinner vidare på. I slutändan skriver du ett kortfattat och fyndigt inlägg på LinkedIn och hänvisar till artikeln. En uppmärksam och lite skadeglad branschkollega har dock läst artikeln i sin helhet och uppmärksammar en liten men kritisk feltolkning av den ursprungliga slutsatsen från ChatGPT. Hen sänker ditt inlägg och du lider lite personlig varumärkeskada. Jobbigt! Men inte så allvarligt kanske. Förhoppningsvis har du lärt dig något och är försiktigare nästa gång.
Tänk dig nu följande scenario:
Du är chef på en stor svensk myndighet och sitter i ledningsgruppen. En av dina strateger har gett dig en rapport skapad delvis med hjälp av AI och baserad på myndighetens egna data och data utifrån. En otroligt stor mängd rapporter, statistik, mötesanteckningar, data från kundtjänst och handläggning har bearbetas och aggregerats i flera led. Ni häpnar och jublar över omfattningen av information som har bearbetats för att komma fram till dessa slutsatser. Äntligen kommer all data i organisationen till nytta! Rapporten leder in dig på tankar om att en av avdelningarna skulle kunna läggas ner. Det skulle spara resurser, ge snabbare resultat och skapa mer enhetlighet i organisationen. Dialog och process rullar vidare med dessa tankar i centrum. Ledningsgruppen beslutar och du blir ansvarig för att driva igenom förändringen. Tyvärr slutar det hela i katastrof. Missnöjet i organisationen växer på grund av att verksamheten läggs ner utan att man tagit hänsyn till dolda synergier mellan avdelningar, enheter och medarbetare som inte syns i data. Dessutom finns det ett glapp och en inkonsistens i datan som rapporteringen baserats på och som AI-agenter by-design ansträngt sig för att släta över (sk hallucinationer). I ljuset av den misslyckade implementeringen av förändringen framgår att en viktig kontrollfunktion nu tagits bort. Det visar sig att stöd till hundratals personer i samhället har felaktigt dragits in med stor varumärkesskada och personligt lidande som följd. Uppmärksamheten i pressen låter inte heller vänta på sig.
Om AI-hallucinationer blir ett samhällsproblem
Den dramatiska beskrivningen av dessa scenarier illustrerar en ännu mer dramatisk och ny typ av risk som växer fram i takt med att generativ AI blir en del av kritiska beslutsprocesser – en risk som är osynlig i den meningen att den är svårdetekterad och lätt blir inbyggd i de verktyg som nu utvecklas i stor skala.
Harvard Business Review rapporterar att organisationer som implementerar generativ AI ofta upptäcker "output inconsistencies, hallucinations, or quality issues" när de skalar användningen. Problemet är att dessa hallucinationer ofta är så välformulerade och övertygande att de passerar obemärkt förbi även erfarna beslutsfattare.
I det första scenariot handlar det om personlig trovärdighet. I det andra om samhällskritiska funktioner, människors välfärd och organisationers överlevnad.
Den mänskliga fördelen i AI-eran
Här uppstår trots allt en, i alla fall för mig, ljusglimt i en bild som annars skulle kunna vara mycket dystopisk: den mänskliga faktorn. Organisationer som utvecklar systematiska processer för mänsklig översyn och kritisk granskning av AI-output kommer att överträffa både de som blint förlitar sig på teknologin och de som underutnyttjar den.
Cameo, en online-plattform som nämns i HBR-rapporten, har insett detta. De använder generativ AI för att sammanfatta kundrecensioner, men betonar att "Humans always grade the output, and iterate and grade again, until we're happy with the consistency of the results. Then we do a human overview before we post anything to the site".
Goldman Sachs förutspår också att AI kan bidra med en 1,5 procentenheters ökning i produktivitetstillväxt över en 10-årsperiod. Men denna tillväxt kommer inte att fördelas jämnt. Vinnarna blir de som förstår att AI:s verkliga kraft frigörs när den kombineras med mänsklig expertis, kritiskt tänkande och domänkunskap.
Ansvarsfull AI som strategisk nödvändighet
I en nära framtid där nästan alla har tillgång till samma AI-verktyg, blir hur du använder dem avgörande. Ansvarsfull AI-användning – med robusta processer för validering, tydliga ansvarskedjor och transparens – utvecklas snabbt från en etisk önskvärdhet till en affärskritisk nödvändighet.
För myndigheter och samhällskritiska funktioner är detta ännu viktigare. När beslut som påverkar människors välfärd, hälsa eller ekonomiska trygghet fattas med stöd av AI, måste vi ha system som säkerställer att teknologin förstärker mänsklig expertis snarare än ersätter kritiskt tänkande.
Balansera effektivitet och kontroll
Vi har i våra uppdrag märkt tendenser till att man i organisationer drar sig för att lägga in mänskliga kontrollfuktioner i de AI-stärkta processerna för att man är orolig för att det skulle minska effektivitetsvinsterna med AI. Men verkliga exempel visar att väl designade "human-in-the-loop"-processer faktiskt kan förstärka både säkerhet och effektivitet.
Ett konkret exempel kommer från Lidingö stad, som i samarbete med andra svenska kommuner använder generativ AI för att effektivisera datamaskering i offentliga handlingar. Denna process är avgörande för att följa Sveriges tryckfrihetslag, som kräver offentlig tillgång till officiella handlingar samtidigt som känslig information skyddas.
Tidigare var detta en extremt tidskrävande manuell uppgift som ibland krävde dedikerad personal, särskilt för dokument på hundratals sidor. I deras AI-implementation är systemet designat så att AI:n assisterar i att identifiera och potentiellt förmaskera känslig data, men den kritiska "sekretessbedömningen" ligger kvar hos den ansvariga mänskliga medarbetaren. Detta säkerställer att medan AI effektiviserar processen, vilar det slutgiltiga beslutet om vad som behöver maskeras och hur, i enlighet med lagkrav, hos en människa.
Lidingö stad har på det sättet kunnat frigöra medarbetare för "mer värdeskapande insatser" samtidigt som de upprätthåller den skyndsamhet som lagen kräver för dokumentförfrågningar, även för omfattande material.
Ett annat exempel från finanssektorn visar hur Citigroup använder AI för att analysera kontrakt och juridiska dokument, men med en noga utformad process där AI:n identifierar och flaggar viktiga klausuler och villkor, medan mänskliga experter verifierar tolkningen och fattar de slutgiltiga besluten. Detta har resulterat i en 80% minskning av tiden som krävs för dokumentgranskning, samtidigt som kvaliteten och noggrannheten förbättrats.
Nyckeln i dessa framgångsrika implementeringar är att de mänskliga kontrollsystemen är:
- Strategiskt placerade – fokuserade på de mest kritiska beslutspunkterna där mänsklig bedömning verkligen tillför värde
- Väl designade – AI:n presenterar information på ett sätt som förstärker mänsklig beslutsförmåga
- Proportionerliga – mer mänsklig översyn där konsekvenserna av fel är större
- Lärande – feedback från mänskliga granskare används för att kontinuerligt förbättra systemet
Som en rapport från London Office of Technology and Innovation påpekar: framgångsrika human-in-the-loop implementeringar handlar inte om att lägga till mänsklig kontroll som ett ineffektivt extra steg, utan om att designa smarta hybridprocesser där människa och maskin kompletterar varandra.
Och vi på Digitalist håller med. För att lyckas med din AI-implementering behöver man fokusera på att stärka medarbetare, deras kunskap och effektivitet såväl som processerna i sig. Det perspektivet kommer att hjälpa oss att implementera AI i samhället på ett hållbart och säkert sätt.
