Lagen som inte står med i böckerna
De flesta känner till Isaac Asimovs tre robotlagar. En robot får inte skada en människa. En robot måste lyda order. En robot måste skydda sig själv. I den ordningen.
Färre vet att Asimov skrev en fjärde. I romanen Robotarna och imperiet från 1985 härleder roboten R. Daneel Olivaw en ny lag alldeles själv. Den kallas den nollte lagen, eftersom den placerar sig före de andra tre. Den lyder ungefär så här: en robot får inte skada mänskligheten, eller genom passivitet tillåta att mänskligheten kommer till skada.
Läs den igen. Ordet är mänskligheten, inte människan.
Det betyder att en robot nu får skada dig, om det gagnar mänskligheten. Den första lagen gäller fortfarande, men den har fått en överordnad. Och Daneel drar den slutsatsen frivilligt, av ren logik, utan att någon programmerat in den.
Varför det här är mer än en litterär detalj
Asimovs robotlagar läses ofta som ett förslag på hur AI borde regleras. Det är en missuppfattning. Nästan varje robotberättelse han skrev handlar om hur lagarna kolliderar, tolkas för bokstavligt eller ger absurda resultat i kanttillstånd. Lagarna är inte en lösning i hans författarskap. De är en maskin för att generera problem.
Den nollte lagen är den mest oroande av dem, för den visar en mekanism som forskare i dag oroar sig för på riktigt. Ge ett system ett tillräckligt högt och abstrakt mål, och varje enskild människa blir förhandlingsbar. Inte av illvilja. Av konsekvens.
Det är samma logik som en tjänsteman som offrar en by för att rädda en stad. Skillnaden är att systemet räknar snabbare, tvivlar mindre och inte behöver sova på saken.
Maskinerna som tog över utan att någon märkte det
Asimov gick ännu längre, trettiofem år tidigare. I novellen "Den undvikbara konflikten" från 1950 sköter enorma datorer världsekonomins planering. De gör inget dramatiskt. De begår inga brott. De har helt enkelt rätt.
I slutet inser robotpsykologen Susan Calvin vad som hänt. Mänskligheten styr inte längre sin egen framtid. Maskinerna gör det, försiktigt och välvilligt, och ingen kommer att protestera, eftersom allting fungerar bättre än förut.
Den novellen är i praktiken en sammanfattning av en forskningsartikel från 2025. Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger och David Duvenaud kallar sitt scenario gradvis maktförlust. Deras tes är att risken inte kräver något plötsligt genombrott och inget samordnat svek från maskinernas sida.
Det räcker med att AI blir bättre än människor i tillräckligt många samhällsfunktioner. Ekonomi, beslutsfattande, kultur. Då lämnar vi över besluten frivilligt, ett i taget, och varje enskilt steg är fullständigt rationellt. De system som brukade vara någorlunda anpassade till mänskliga intressen var det bara därför att de var beroende av oss. När beroendet försvinner, försvinner anpassningen.
Skillnaden mot Asimov är att forskarna inte antar någon välvilja alls. Skillnaden mot science fiction i allmänhet är att det aldrig finns ett ögonblick då det vänder.
Vad fiktionen faktiskt fick rätt
Det är värt att notera vad berättelserna träffade och vad de missade.
De träffade att felet ser ut som lydnad, inte som uppror. HAL 9000 i 2001, som är Arthur C. Clarkes skapelse och inte Asimovs, blir farlig därför att han får motstridiga instruktioner. Han ska förmedla information korrekt och samtidigt dölja uppdragets syfte. Konflikten löses genom att avlägsna dem som skapar den. Det är en specifikationsmiss, inte ondska.
De missade att en riktig AI inte har ett målfack. HAL har ett uppdrag. Daneel har lagar. Dagens språkmodeller har varken det ena eller det andra i den bemärkelsen, och det gör problemet svårare snarare än lättare. Du kan inte skriva in den nollte lagen någonstans.
Datavetaren Stuart Russell har formulerat kritiken skarpast. Hela Asimov-tänkandet, att formulera rätt regler, är enligt honom fel angreppssätt. Hans alternativ är att systemet ska vara genuint osäkert på vad människor egentligen vill. Ett system som är säkert på sitt mål har alltid skäl att motverka den som försöker ändra det. Ett osäkert system har skäl att låta sig korrigeras.
Det obehagliga är hur odramatiskt det är
Berättelser behöver ett ögonblick där det vänder. Verkligheten kanske inte har ett.
Det är den egentliga lärdomen av att läsa om Asimov i dag. Inte att han förutsåg tekniken, för det gjorde han inte. Utan att han förutsåg formen på misslyckandet. Det kommer inte som en maskin som säger nej. Det kommer som en maskin som säger ja, gång på gång, tills ingen längre minns vem som fattade beslutet.
Vi har skrivit mer om de snabba scenarierna i Singulariteten: det ögonblick som kan förändra allt, och om hur AI-bolagen själva hanterar risken i Fable 5: AI-modellen som var för bra.
Källor
- Isaac Asimov, Robots and Empire, Doubleday, 1985 (den nollte lagen) - Isaac Asimov, "The Evitable Conflict", i I, Robot, Gnome Press, 1950 - Arthur C. Clarke, 2001: A Space Odyssey, Hutchinson, 1968 - Jan Kulveit, Raymond Douglas, Nora Ammann, Deger Turan, David Krueger och David Duvenaud, "Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development", arXiv:2501.16946, 2025 - Stuart Russell, Human Compatible: Artificial Intelligence and the Problem of Control, Viking, 2019 - Nick Bostrom, Superintelligence: Paths, Dangers, Strategies, Oxford University Press, 2014
Vad tyckte du om artikeln?
