David Černý: Etika umělé inteligence a robotů (od roku 2004 vstoupil do užívání výraz „roboetika“) představuje jednu z aktuálních výzev současné vědy, na jejímž řešení se musí podílet odborníci z různých vědních oblastí (inženýři, informatici, matematici, filosofové či etikové). Dříve než se začneme věnovat konkrétním etickým výzvám moderních technologií, bylo by asi dobře, abychom si ujasnili základní výrazy. Co si tedy vlastně máme představit pod pojmy umělá inteligence a robot?

Jiří Wiedermann: Pro účely tohoto rozhovoru pod těmito pojmy pravděpodobně není potřebné představovat si nic jiného, než si představuje většina lidí. Umělá inteligence je inteligence, kterou vykazuje nějaké zařízení či stroj, tj. ne člověk ani zvíře. Robot je zařízení, které je řízeno umělou inteligenci a je zkonstruováno tak, aby vykonávalo i složitější posloupnosti činností, které by jinak, alespoň teoreticky, mohl vykonávat pouze člověk anebo zvíře. Robot může být sestrojen v podobě lidského těla – tehdy se jedna o tzv. androidy – avšak většina dnes používaných robotů má „tělo“ přizpůsobeno spíše druhu činnosti, kterou má vykonávat. V českém prostředí se mi líbí definice androidního robota, která pochází od Karla Čapka: „Robot je Golem, provedený v masové tovární výrobě.“ Cílem snažení je samozřejmě zkonstruovat umělou inteligenci srovnatelnou, či dokonce předčící inteligenci lidskou.

DČ: Na chvilku se zastavme u snahy zkonstruovat umělou inteligenci srovnatelnou (obecná inteligence) či dokonce předčící inteligenci lidskou (superinteligence). Jak vlastně poznáme, že jsme v tomto snažení uspěli? V roce 1950 publikoval britský matematik Alan Turing slavný článek s názvem „Computing Machinery and Intelligence“, v němž navrhl test, který by nám měl dovolit na naši otázku odpovědět. Jenže celý tento tzv. Turingův test je problematický. Na jedné straně jím totiž neprojdou bytosti, o nichž si myslíme, že určitou schopnost myšlení mají (např. orangutani či delfíni), na druhou stranu si nemůže být jisti, že bytost či stroj, které testem projdou, skutečně myslí. U lidí totiž neusuzujeme na schopnost myslet pouze z toho důvodu, že testem projdou, ale také díky tomu, že mají stejnou evolučně navrženou „architekturu“ mozku. Poznání skutečnosti, že stroje mohou myslet, je však velmi důležitá. Jednak proto, že stroje mohou být nebezpečné a měli bychom proto pokud možno s jistotou vědět, kdy překročí určitou hranici, za níž o nich lze hovořit jako o strojích myslících. A potom nás samozřejmě zajímá i to, jak se ke strojům smíme chovat; a kapacita myšlení může představovat důležitý morálně relevantní faktor. Jaký je Tvůj názor?

JW: Souhlasím, je to tak – žádný spolehlivý test na to, jestli nějaká bytost, či nějaké zařízení myslí, nemáme. Situace je trochu podobná situaci, kdy nemáme test na to, jestli nějaké zařízení počítá. Např. když tvrdím, že dané zařízení je kalkulačka, která vynásobí libovolná dvě čísla, tak toto tvrzení nelze dokázat testováním konečného počtu dvojic čísel, jestli je dané zařízení správně vynásobí. Jediný způsob, jak to dokázat, je podívat se „dovnitř“ zařízení, jestli je tak zkonstruováno, že prokazatelně vynásobí libovolná čísla. Toto zatím v případě myšlení nedovedeme, protože nevíme, jaká je ta „správná“ architektura myslících strojů anebo organizmů. Víme však, že možných různých architektur „mozků“ je mnoho. Např. chobotnice má podstatně odlišnou stavbu svého mozku než např. savci, a přesto vykazuje překvapivě vysokou míru inteligence ve svém prostředí. Neurovědy a teorie umělé inteligence přinášejí první poznatky, které odhalují principy fungování myslících strojů. Celá oblast stále čeká na svého Turinga, který přijde s matematickým, formálním modelem myslících zařízení, jehož myšlení bude funkčně ekvivalentní myšlení všech anebo aspoň většiny známých myslících entit. Teprve poté budeme schopni odpovědět, jestli daný objekt myslí, a když ano, tak do jaké míry. Hledání takového modelu je jedním z problémů, kterými se zabývám.

DČ: Švédský filosof Nick Bostrom se ve své knize Superinteligence (v češtině vyšla v roce 2017) zabývá také možnostmi vzniku strojové inteligence, která lidské kognitivní schopnosti překonává ve všech relevantních oblastech. Jednou z možností, jež zvažuje, je zárodečná umělá inteligence, která prostřednictvím rekurzivního sebezlepšování (iterativních úprav své vlastní architektury) může dospět až k inteligenční explozi a ve velmi krátké době radikálním způsobem překonat inteligenci lidskou. Jaký je tvůj názor na tuto představu o vzniku superinteligence?

JW: S představou o vzniku superinteligence se zárodečné umělé inteligence souhlasím, ale myslím, že idea rekurzivního sebezlepšování pomocí iterativních úprav vlastní architektury není postačující ke vzniku vyšší inteligence. Věc se má totiž tak: sebelepší úpravou architektury nezískám nic jiného nežli urychlení či jiné vylepšení procedur (např. paměťové náročnosti), které systém používá. My však potřebujeme, aby systém uměl "víc", aby uměl řešit ještě i jiné problémy, než předtím, případně, aby je řešil správně, pokud je předtím systém řešil nesprávně anebo neuměl řešit vůbec. To se vylepšováním software dosáhnout nedá. Cesta k tomuto cíli je jiná.
Výpočty každého systému, i inteligentního, se v principu dějí v rámci nějaké znalostní teorie, která obsahuje výchozí množinu znalostí (axiomy), ze které se pomoci odvozovacích pravidel dají odvozovat další znalosti. Z matematické logiky víme, že existují různé druhy odvozovacích pravidel, které ale vedou k odvození stejné množiny znalostí. Liší se pouze efektivita odvozování, nikoliv výsledky. Aplikace odvozovacích pravidel se děje pomocí výpočtu, tj. pomocí "software". Z toho je zřejmé, ze sebedůmyslnější zlepšování software nemůže v dané znalostní teorii odvodit jiné výsledky než předtím. Nové výsledky lze odvodit pouze změnou teorie, zejména změnou jejích axiomů.
A to otevírá cestu k řešení. Sestrojíme zárodečný systém tak, aby systematicky hledal rozpory mezi tím, co dovede odvodit v rámci své znalostní teorie, a co zjistí pomocí experimentů (pozorování), pokud je systém může sám provádět. Pokud ne, tak výsledky experimentů dodáme do systému ve formě tzv. znalostních dat, které se stanou novými axiomy nové, rozšířené znalostní teorie. Pokud systém neshledá tuto novou teorii rozpornou, tak se nic nemění, systém generuje nové znalosti a absorbuje nová data. Narazí-li ale na rozpor, systém hledá novou znalostní teorii, která by byla v souladu se všemi poznatky, které má k dispozici, a dále funguje na bázi této nové teorie až do té doby, nežli narazí na rozpor. Atd. Je zřejmé, že takto se teorie prokazatelně zlepšuje, což je současně důkaz o její rostoucí inteligenci.
Z popperovského hlediska se můžeme na takový systém dívat tak, že systematicky hledá cesty, jak falsifikovat svoji vlastní znalostní teorii, a když se mu to podaří, systematicky hledá způsoby, jak upravit původní teorii tak, aby odpovídala novým poznatkům. Jedná se tedy opět o sebezlepšovací proces, ale nyní se zlepšuje nikoliv software, ale příslušná znalostní teorie. Ostatně, podobný proces je v pozadí kuhnovské teorie vědeckých revolucí.
To jsou hlavní myšlenky procesu, který prokazatelně vede k neohraničenému nárůstu inteligence, pokud systém dostává či sám si obstarává nové podněty ve formě znalostních dat. Tento proces jsme navrhli společně s kolegou Janem van Leeuwenem z Utrechtu před několika lety jako reakci na představu prezentovanou v Bostromově knize. Z výpočetního hlediska to není jednoduchý proces, a intervaly mezi „objevením“ nové znalostní teorii se mohou prodlužovat bez ohledu na to, jak výkonné počítače se použijí. Takže se vůbec nemusí jednat o inteligenční explozi, nýbrž o postupnou evoluci.

DČ: V současné době se v roboetice řečí také problém práv robotů, tj. otázka, jak bychom se my lidé měli k inteligentním umělým systémům chovat. Z etického hlediska není samotná otázka příliš zajímavá, máme již vypracované teorie, jež přesně určují, za jakých podmínek je možné nějaké bytosti či entitě přiznat práva či obecněji náležitost do morální komunity. Nejčastěji hledáme nějaké vlastnosti, jež považujeme za morálně relevantní. Pokud určitá bytost či entita B má vlastnost X a X je morálně relevantní vlastnost, potom B náleží do morální komunity. Jedná se o první krok, který může posléze vyústit např. v přiznání nějakých základních práv. Jednou z často zmiňovaných morálně relevantních vlastností je vědomí. Společně se svým nizozemským kolegou Janem van Leeuwenem jsi navrhl formální model AI, která má kvália, tj. určitou minimální formu vědomí. Mohl bys tento model stručně popsat?

JW: Model není zcela jednoduchý, a proto jej nelze stručně popsat. Není divu – záhada lidského vědomí jako výpočetního fenoménu převládá v odborné literatuře již přinejmenším dvě desetiletí a existují dokonce odborníci, kteří se domnívají, že tato záhada nebude nikdy uspokojivě vyřešena. Náš model neaspiruje na to, aby byl považován za model lidského vědomí. Myslíme si však – a máme pro to dobré argumenty –, že vystihuje jisté minimální vlastnosti i lidského vědomí, jež jej činí zajímavým přinejmenším v kontextu strojového vědomí.
Nuže, náš model se liší od dosavadních úvah o mechanismech vědomí, které uvažovaly o vědomí jako o vlastnosti speciálního software, tím, že navíc vyžaduje specializovanou architekturu příslušného výpočetního zařízení. Na model lze nahlížet jako na tzv. vtělený počítač, který je vybaven senzory, které zkoumají a vnímají okolí, a motorickými jednotkami, které mu umožňují vykonávat jisté činnosti v prostředí. To je známé a velmi obecné schéma libovolného robota. Chování takového robota je zcela dáno informacemi, které dostává od svých senzorů. Náš model je složitější verzí tohoto základního zařízení. Navíc vyžadujeme, aby mezi senzory i motorickými jednotkami na straně jedné, a řídící jednotkou robota na straně druhé, existovala zpětná vazba, v tomto smyslu: senzorické jednotky dodávají informaci nejen informaci o tom, co „vnímají“, ale též informaci o kvalitě tohoto vjemu. Kvalita vjemu závisí na jeho druhu: jestli se jedná a zvukový vjem, tak nás zajímá např. jeho intenzita, trvání, výška tónu, jeho zabarvení atp. V případě zrakového vjemu nás zajímá jeho ostrost, osvětlení, intenzita atd. Zpětnou vazbu vyžadujeme i od motorických jednotek: jestli se nějaká akce vydařila např. zcela nebo jenom částečně, nebo vůbec. Příčiny, proč se některá akce nebo pozorování nezdaří podle představ, mohou být jak technického rázu, tak – a to zejména – dané nepředvídatelností okolí. Robot může uklouznout, může do něj něco narazit, před kamerou se může objevit nějaká překážka apod. Již zde je vidět, jak je zpětná vazba důležitá – umožní robotu napravit některé „málo kvalitní“ akce, třeba jejich opakováním, anebo pomocí jiných opravných akcí.
Z tohoto poněkud zdlouhavého popisu je třeba si zapamatovat, že náš robot již nejedná pouze na základě vjemů od senzorických jednotek, ale i na základě kvality těchto vjemů a informací od motorických jednotek. To vše jsou vstupní informace, které musí robot zpracovat a vybrat vhodnou další akci.
A teď, jaký je mechanizmus vzniku kválií a k čemu jsou dobré.
Software robota je navržen tak, aby (kromě jiných akcí, odpovídajících situaci) prováděl klasifikaci svých vstupních informací. To znamená, že robot pomocí mechanismu, který popíšeme v dalším, vybere ze vstupních informací „důležité“ položky, na základě kterých klasifikuje vstup a přiřadí mu jednoznačně určitý „vnitřní stav“, který již reprezentuje odpovídající kválii (neboli „subjektivní zkušenost“, či „subjektivní prožitek“.). V případě autonomního vozidla může být příkladem takové kválie přechod do stavu, jehož sémantika je např. „jsem ve smyku“, anebo „dochází mi palivo“, anebo „zleva mě předjíždí auto“, anebo „je tma, prší a teplota je kolem nuly“ atp. Z těchto příkladů je snad zřejmé, které položky vstupních informací jsou důležité pro tu-kterou kválii. Klasifikační mechanizmus tedy – pro větší efektivitu paralelně – zkoumá vybrané položky vstupní informace a výsledkem klasifikace je aktivace příslušné kválie.
Charakteristický rysem kválií je jejich delší přetrvávání v čase, během kterého zařízení musí provést více akcí než skončí platnost podmínek, jež kválii iniciovaly. A to přesně je jejich význam – informovat zařízení, přesněji jednotlivé jeho moduly, že přetrvávají jisté podmínky, které vyžadují vykonat posloupnost koordinovaných akcí, které vyřeší situaci.
Pro iniciování kválií tedy model vyžaduje znalost toho, co se děje kolem něho (tzv. sebe-znalost) a zpětnovazební informace od svých senzorů a motorických jednotek, jestli a jak dobře fungují (tzv. sebe-monitorování). Pro využití kválií model musí mít navíc zařízení, které (např. formou vysílání) informuje jeho moduly o stávajícím subjektivním prožitku.
Kválie, kterým v kontextu našeho modelu říkáme strojové kválie, tvoří v našem modelu základ jisté minimální formy strojového vědomí. Aby model nabyl takové vědomí, je nutné ještě splnění další podmínky, a to je uvědomění si sebe sama. To znamená, že robot potřebuje mít znalost, že je odlišný od ostatních podobných zařízení, které se mohou stát předmětem jeho vjemů, a také musí být schopen odlišit následky akcí, které sám inicioval, od těch ostatních. To první odlišení se děje na základě toho, že robot má informace o tom, jak se jeví prostřednictvím svých senzorů ostatní zařízení, se kterými může přijít do styku. To druhé – důsledky svých vlastních akcí – rozezná podle toho, že má k dispozici znalost toho,
jaké motorické akce inicioval, a zpětná vazba od příslušných motorických jednotek potvrzuje, že skutečně pozoruje důsledky svých vlastních akcí. Pokud tomu tak není, tak robot pozoruje jiné úkazy než svoje vlastní akce.
Tím se konečně dostáváme k neformální definici, kdy má robot minimální strojové vědomí: to nastane, když má robot vlastnosti sebe-znalosti, sebe-monitorování a sebe-uvědomění a generuje kválie, jež jsou dostupné pro všechny jeho moduly. Minimální strojové vědomí představuje výpočetní mechanizmus, který zlepšuje celkovou výkonnost, spolehlivost a robustnost systému tím, že umožní jeho efektivnější rozhodování v situacích, kdy systém nemá k dispozici kvalitní informace od svých senzorů a motorických jednotek. Zpětná vazba umožňuje spolehlivější detekční schopnosti, což vede ke snížení počtu falešných alarmů, k možnosti opravy chybných akcí a zvýšené bezpečnosti. U složitějších systémů umožňuje dostupnost kválií pro všechny podsystémy jejich efektivnější a koordinovanou reakci, protože se nemusí každý zvlášť zabývat inspekcí všech podnětů. Kválie totiž reprezentují jakousi předzpracovanou informaci, která v sobě nese všechny podstatné rysy dané situace.

DČ: To je nepochybně fascinující model. Jestli tomu rozumím správně, stroj obdařený vědomím a kválii, dle vašeho modelu, obsahuje předem dané a definované třídy možných vstupů, do nichž jsou jednotlivé konkrétní vstupy zařazeny a ipso facto klasifikovány (v čemž spočívá „uvědomění si quale“, tj. kvality daného vstupu). Bylo by možné vytvořit takový model, který by obsahoval třídu, jež by klasifikovala vstupy od senzorů a monitorace vnitřních stavů systému nezbytných pro dobré fungování samotného stroje? Podobně jako člověk nějak „pocítí“, když s jeho organismem není něco v pořádku, tak by tento stroj „pocítil“, že něco nefunguje správně. Kdyby tento model obsahoval i normativní složku (zřejmě vytvořenou v nějakém systému deontické logiky), mohl by stav „zdravý“ – tj. plně funkční – klasifikovat jako „správný“, „dobrý“, „hodný udržování“. Potom už bychom mohli hovořit o tom, že pro daný stroj je něco dobré – v normativním smyslu – čímž by se otevřel prostor pro zajímavé etické úvahy.

DČ: Rád slyším, že Tě model fascinuje. Jistě, stroj, ve smyslu našeho modelu, jenž by měl kválii, se sémantikou „jsem v pohodě“, jde sestrojit a je to speciální případ jakékoliv jiné kválie. Takový stroj by samozřejmě musel mít senzory a motorické jednotky, jejichž údaje by poskytovaly informace potřebné pro takovou kválii. Např. v případě autonomního vozidla by to mohly být údaje o teplotě motoru, otáčkách, rychlosti vozidla, dostatku paliva, tlaku v pneumatikách atp. Je zřejmé, že existuje nějaké optimální rozpětí těchto sledovaných veličin, ve kterých se mohou pohybovat jejich kvality. Toto rozpětí pak definuje onu zmíněnou „pohodu“. Takže tato kválie, a případně i jiné, vlastně definují normativní stavy systému. Všimněme si, že náš model umožňuje, aby systém byl současně ve více klasifikačních stavech (odpovídajícím kváliím). Je dobré si uvědomit, ze takové normativní stavy vlastně definují jisté rovnovážné stavy systému, a tudíž odpovídají homeostázi biologických systémů. V našem případě bychom tedy mohli hovořit o strojové homeostázi. Prostor pro etické úvahy je zde značný, protože model umožňuje definovat alespoň základní etické kválie a takový stroj by pak mohl být navržen tak, aby měl tendenci udržovat „etickou homeostázi“. Nevím, jestli posledně zmíněný pojem etické homeostáze v roboetice existuje.

DČ: Myslím si, že pojem „etická homeostáze“ neexistuje, měli bychom ho zavést. Pojďme se ale nyní z oblasti otázek „jak se chovat k inteligentním systémům“ přesunout k dnes nepochybně důležitějšímu problému „jak se inteligentní systémy mají chovat k nám“, hlavnímu problému současné roboetiky. Stroje v podstatě lze „zpravit“ o nějakých etických principech třemi způsoby: i) shora, tj. formou obecných morálních principů ve formě základní formální množiny principů + principů odvozování, ii) zdola, tj. učením, iii) kombinací obou přístupů. Příkladem prvního přístupu jsou slavné Asimovovy zákony roboetiky, poprvé formulované již v roce 1942 v povídce Runaround. Jenže již v této povídce Asimov ukazuje neadekvátnost tohoto přístupu: konkrétních situací je prostě příliš mnoho, je třeba je umět interpretovat a lze pochybovat o tom, že je možné je všechny předem vtělit do podoby několika velmi obecných pravidel. Druhý přístup funguje na principu učení: namísto abychom umělé inteligenci předem řekli, co je správné a co není, vystavujeme ji velkému množství konkrétních situací a necháme ji, aby si postupně nějaká pravidla zformovala sama. Problém je samozřejmě v tom, že neexistuje žádná shoda na tom, co je a co není správné, těžko bychom tedy vytvořili rozsáhlou sadu případů, které by k učení umělé inteligenci mohly sloužit. Dnes se proto nejčastěji hovoří o kombinovaných přístupech, jež by měly využívat obou možností, tj. nastavení nějakých obecných pravidel a učení. Jaký je Tvůj názor na to, jak bychom měli umělou inteligenci naučit jednat morálně správně?

JW: To je otázka trochu mimo moji specializaci, ale pokusím se odpovědět.
Předně, myslím, že není jedno, jakou umělou inteligenci chceme naučit jednat eticky. Resp. jinak: ne každá umělá inteligence potřebuje jednat eticky na stejné úrovni. Záleží to na tom, s kým nebo s čím přichází do styku, a jak velký je "svět", či výseč reálného světa, ve kterém ona zmíněná inteligence pracuje. S jakými etickými problémy se setkává, jaká – jestli vůbec nějaká – etická dilemata musí řešit. Čím složitější je etika světa, ve kterém a se kterým inteligence jedná, tím větší etické nároky na ni. Dále záleží na tom, jestli má anebo potřebuje umělá inteligence mít vědomí, svobodnou vůli a do jaké míry je kreativní.
Např. robotický vysavač zřejmě nemusí splňovat posledně zmíněné podmínky, autonomní vozidlo nemusí mít svobodnou vůli a nemusí být nijak zvlášť reaktivní. Jednoduché systémy, nevyžadující žádné složité etické chování, je zřejmě možné „natvrdo“ naprogramovat, složitější systémy se to musí naučit, ale to může být komplikované, až nemožné, jak správně zdůrazňuješ ve své otázce. Kombinovaný přístup problém moc neřeší, to je obezlička, když si nedovedeme vybrat ze dvou možností. Zkusme najít „třetí cestu“.
Ve světle našeho výzkumu o minimálním strojovém vědomí si totiž myslím, že každá umělá inteligence by měla jím být obdařena. Dokonce se myslím, že toto by měla být definiční podmínka pro systémy umělé inteligence. Dále, pokud se má takový systém chovat eticky, musí se „chtít“ tak chovat, musí tak být navržen, musí mít příslušné etické kválie a musí mít „intence“ aktivace těchto kválií vyhledávat. Zde opět přichází na pomoc náš nápad s etickou homeostází. Takový systém by ze své samotné povahy nemohl jednak jinak než eticky, anebo se o to alespoň snažit, protože by to ani jinak nesvedl. V jednodušších případech by bylo možné systém takto naprogramovat. Je také myslitelné, že etickým kváliím lze systém učit pravděpodobně pomocí evolučních algoritmů a kombinací ve Tvém dotazu uvedených přístupů. Zkrátka zařídit umělou evoluci umělé inteligence tak, aby se v ní vyvinula etická homeostáze. To mi připadá jako slibná cesta, která je hodna pozornosti. Je zajímavé, že takový systém by asi neměl mít neomezenou svobodnou vůli, ani neomezenou kreativitu, protože by mohl přijít s nápadem, co se stane, když nebude „poslouchat svá chtění (instinkty?)“.
Mimochodem, na podobný problém jsme s kolegou narazili, když jsme se zabývali problémem z oblasti superinteligence – jak zařídit, aby se tato neobrátila proti lidským zájmům. Tento etický problém nejvyšší urgence se v související literatuře intenzivně řeší (viz např. Bostrom) a žádné rozumné řešení doposud nebylo nalezeno. Z toho také pramení seriózní obavy o budoucnost lidstva vyslovované mediálně známými osobnostmi, které se považují za odborníky v těchto záležitostech (ale většinou jimi nejsou, pohříchu). Spíše si myslím, že ještě velmi dlouho se nemusíme „vzpoury superinteligence“ obávat. Přesto by bylo dobré znát nějaké řešení.
Úvahy o etické homeostázi otevírají zajímavou možnost, kterou bude potřebné pečlivě prozkoumat. Již teď je však zřejmé, že bez porozumění podstatě vědomí to nepůjde.
Ještě na okraj k otázce, jestli má mít robot alespoň minimální vědomí, a tím pádem kválie. Ve filosofii mysli se uvažuje, jestli může existovat systém k nerozeznání od člověka – tzv. zombie, který se chová, jako by měl lidské vědomí, ale ve skutečnosti by neměl žádné vědomí. Většina, ne-li všichni současní roboti jsou zombies. Je zajímavé, že americká filosofka Susan Schneider si myslí, že mít vědomí nemusí být vždy výhodné – např. inteligentní mimozemšťané by mohli být zombies. Tím by ovšem přišli o výhody spojené s vědomím – viz odpověď na čtvrtou otázku. Proto si myslím, že alespoň minimální vědomí by i mimozemšťané měli mít.

DČ: Děkuji Ti za rozhovor.

Slavnostní podpis smlouvy se uskutečnil v pátek 12. října za účasti ředitelů Ústavu informatiky, Filosofického ústavu a Ústavu státu a práva Akademie věd ČR, které v centru budou spolupracovat s Přírodovědeckou fakultou Univerzity Karlovy. Vedení Akademie věd zastupovali na ceremoniálu kromě předsedkyně i dva místopředsedové, Jan Řídký a Pavel Baran.