Existuje vůbec etika extrémních situací?

Musíme rozlišovat mezi etickou teorií a aplikovanou etikou. Etická teorie se pokouší systematickým způsobem odpovědět na otázky, co je morálně správné, co nesprávné, jaké jednání je přípustné či jaké zase zakázané. Aplikovaná etika je potom aplikací etické teorie na konkrétní problémy „z lidské praxe“. Většinou předpokládáme, že etickou teorii lze aplikovat i na situace, které jsou, jednoduše řečeno, hrozné a extrémní. Válka. Mučení. Trest smrti… Dokonce je tomu tak, že často etické teorie posuzujeme podle toho, jak se dokážou s těmito mezními situacemi vyrovnat.

Můžete to přiblížit?

Představme si, že máme etickou teorii říkající, že v určitých situacích můžeme zabít nevinného člověka. Představte si, že žijete v městečku, kde žijí starousedlíci a novousedlíci. Je mezi nimi velké pnutí. Tak, jak je to dneska na mnoha místech i v realitě. Jednoho dne se najde dcerka starousedlíků mrtvá, zavražděná. Starousedlíci chtějí vyjít do ulic, zabíjet novousedlíky a mstít se. V jejich hlavách za smrt dívky samozřejmě mohou novousedlíci, jak jinak. Šerif, řekneme, toho městečka si říká: Kdybych si vybral třeba starousedlíka Lišku, to je alkoholik a drobný kriminálník, a řekl bych, že ji zabil on, a popravil ho, tak se situace uklidní, ke střetu novousedlíků se starousedlíky nedojde a nebudou ztráty na majetku, zdraví a životech. Takovým způsobem může uvažovat zastánce teorie známé jako utilitarismus. My se ovšem můžeme a musíme ptát: Odpovídá ta teorie našim morálním intuicím? Je správné obětovat nevinného člověka, abychom zabránili mnohem větším problémům?

A máme v tom jasno?

Asi jak kdy a v čem. Například o morálních intuicích, jejichž výzkumem se zabývá například můj kolega Robin Kopecký z laboratoře prof. Flegra na Přírodovědecké fakultě UK, víme, že jsou poměrně stabilní a zas tak moc se stát od státu (či kulturu od kultury) neliší. Když se třeba zeptáte, zda smíme shodit člověka z mostu do cesty vlaky, který ho usmrtí a zastaví se, takže nezabije pět dělníků pracujících za mostem na trati, 68 procent Číňanů, 45 procent Rusů a 56 procent Američanů odpoví, že ne – to vypadá jako celkem univerzální odmítnutí utilitarismu. Tedy alespoň pro tento typ situace. Něco jiného jsou etické teorie, jejichž je více, a neshodujeme se na tom, která z nich je ta pravá. Ale to také moc velký problém není, protože se ve většině odpovědí shodují a liší se často právě jen v řešení oněch extrémních situací.

Takže je všechno v pořádku?

Já mám ohledně dnešní společnosti trochu jiné obavy. Myslím, že do ní stále více proniká iracionalita, pověrečnost, odmítání vědy. A to dokonce i na univerzitní úrovni. Nedávno mě opravdu vyděsila četba knihy Daphne Pataiové a Noretty Koertgeové Professing Feminism. Autorky zde podrobně dokládají, že se v USA z feminismu coby legitimní snahy o rovnoprávnost mužů a žen stala mužům nepřátelská ideologie, v jejímž duchu se na univerzitách studenti učí neúctě k jiným názorům, místo diskuse jsou vychováváni v aktivismu, zcela otevřeně se popírají výsledky moderní vědy, nejčastěji evoluční biologie. Tyto trendy jsou podle mne nebezpečné, protože o důležitých věcech – například o přípravě naší společnosti na autonomní vozidla – by měli rozhodovat odborníci, ne ideologové a aktivisté.

Nezbývá než souhlasit…

V etice máme různá použitelná řešení a odpovědi, ale společnost musí být zralá a připravená na to, že tato řešení jsou dobrá a přijímaná ve prospěch společnosti.

Představme si model. Silnice. Z levé strany má zeď, z pravé strany mohutný strom. Já jedu autem a řídím. Když jsem deset metrů před stromem, tak mi zpoza něj přímo pod chladič vběhnou dvě malé děti. Mám to píchnout do stromu a zabít se, nebo zabít ty děti? Co je etické?

Naštěstí si ve chvíli, kdy řídíme, tuto otázku neklademe. Jednáme instinktivně, podle programů, jež nás evoluce „naučila“. A pravděpodobně se těm dětem vyhneme, a to dokonce bez ohledu na to, jestli máme vzadu svoje vlastní dítě. To máme nějak naprogramované. Kdybychom nad tím přemýšleli, tak se dostaneme do problému. Pokud totiž použijeme teorii utilitarismu, tak je eticky správné jedině to, za minimalizuje újmu. Bez ohledu na to, čí újma to je. Představte si, že hoří dům a v tom domě je někdo vám blízký. Ale je tam také slavný vědec, který by mohl udělat spoustu dobrých věcí pro lidstvo. Vy máte přirozeně radši svou blízkou osobu. Podle utilitarismu to však nesmí hrát roli. My uvažujeme, jaký užitek z jednání vzejde v neosobní perspektivě. Takže máte podle klasické teorie utilitarismu etickou povinnost zachránit vědce. A v případě zmíněného stromu máte povinnost odhlédnout od toho, že jde o váš život. A dát přednost životu těch dvou dětí.

To mi přijde vcelku logické.

Po zavedení autonomních aut se sníží nehodovost asi o devadesát procent, počítač bude řídit bezpečněji než člověk. Nějaké nehody přesto budou. A pro ně musíme najít odpovědi. Vezměte například, že chcete, aby auta minimalizovala škodu. Když budou autonomní vozy rozhodovat mezi jedním řidičem a jedním chodcem, ať dají přednost řidiči. Kdyby ti chodci byli na silnici dva, tak ať raději obětují řidiče, protože počet mrtvých bude nižší. To se lidem líbí, ve výzkumech se ukazuje, že s takovým chováním autonomních aut souhlasí, myslí si, že je eticky správné. Když jim ale následně položíte otázku, zda by si ho koupili, odpovědí, že ne. Že by byli rádi, kdyby tím autem jezdili ostatní, ale oni sami by dali přednost jinému chování svého vozu.

Volili by raději strategii tank, kdy auto chrání řidiče?

Ano – když se to týká jejich vlastních životů. Když to berou abstraktně, neosobně, dají přednost tomu, aby se autonomní auto chovalo utilitaristicky. Kdyby se ale rozhodovali při koupi, tak si jednoznačně koupí auto, jež chrání především svou posádku. A zde vzniká vážné sociální dilema.

Ale to může nastat i v mnoha jiných situacích…

Samozřejmě. Řekněme, že lidé se mohou chovat buď jako altruisté, nebo jako egoisté. Představte si společnost, kde jsou všichni altruisté. Tak je pro vás nejvýhodnější být egoista, protože všichni ostatní jsou altruisté. Starají se o vás a vy na ně kašlete. Když jsou naopak všichni egoisté, budete také. Není to úplně super, ale kdybyste byl altruista, tak na tom budete ještě mnohem hůř – prostě beránek mezi samými vlky. Zdá se tedy, že vaše strategie je jasná: vždy být egoista. Pokud ovšem takto budou uvažovat všichni, tak dojde k tomu, čemu Hobbes říkal válka všech proti všem. Takže je pro všechny lepší být altruista, i když tím omezíme jakousi svou „absolutní svobodu“, například mou svobodu shodit vás z balkónu. Stejně tak totiž vy omezíte svou svobodu shodit z balkónu mne.

Jenže…

Vím, co chcete říct. Problém je v tom, že vy si můžete říci: Všichni jsou altruisté, protože uvažovali jako já. Tak já tedy budu egoista, protože když jím budu já, tak pro mě je to extrémně výhodné a zas tak moc se nestane, protože ostatní budou hodní altruisté. A to je právě to sociální dilema. Když je někde napsáno „Nechoďte přes trávník“, tak se v tomto momentě rozhodování egoisty řídíte myšlenkou, že jste jen jeden, a když tedy trávník přejdete, tak mu to nijak neublíží. A podobně je to s těmi auty: chceme, aby všude jezdila auta řídící se počtem obětí, sami si ale přejeme auto, které nám dá přednost před ostatními.

Zvažovala se v souvislosti s autonomními auty strategie „poslední spravedlivý“? Totiž že auto zabije toho, kdo porušil předpisy?

Tohle se, pokud vím, nezvažovalo. Diskuse o autonomních autech nechce vzbudit veřejné pohoršení. Česká republika se na jejich zavedení intenzivně připravuje, má na to na ministerstvu zvláštní komisi, protože přinesou prospěch celé společnosti. Kdybychom zavedli tuhle politiku, tak na to budou lidé zřejmě reagovat odporem a nebudou si taková auta kupovat, takže se hned tak neuchytí. Takže my, kteří tuto diskusi vedeme, se snažíme najít rovnováhu mezi prospěchem, jejž přinese automatizovaná doprava, a cenou, kterou za ni musíme zaplatit. Třeba tu, že v těch několika málo procentech situací se auta budou chovat jinak, než chceme.

Uvažovalo se někdy o tom, že by se autonomní auto v takové situaci řídilo losem?

Ne. Ale v jiné situaci ano. V situaci, kdy šlo o dárcovství orgánů. Ze zdravého člověka je možné získat celou řadu orgánů, takže jeho tělo může zachránit spoustu jiných lidí. Jednoduše: hodně užitku za jednoho mrtvého. Takže kdyby se zavedla loterie, kde by se losovalo, koho zabít na orgány, byl by jich na transplantace dostatek. A je mnohem pravděpodobnější, že životně důležitý orgán budete potřebovat – a díky loterii ho dostanete - , než že na vás padne ten špatný los a budete obětován. Takže to vypadá, jako by to byl super nápad. Ovšem lidé něco takového nechtějí dělat.

Tahle logika se někdy prosadila?

O něčem takovém se uvažovalo za druhé světové války. Když letěla peruť letadel bombardovat, měla vždycky nějaké procento ztrát. Statisticky se vypočítalo, že když budou na misi posílat jen polovinu bombardérů, ale s poloprázdnou nádrží – že se prostě nevrátí, ale unesou více pum –, tak budou nižší ztráty než v situaci, kdy o tom, kdo se vrátí rozhodovalo štěstí či náhoda. Šance individuálního přežití by byla větší. Ale lidé to nechtěli. I když je moje šance, že zemřu, v nějaké situaci vyšší, tak je pro mne důležité, že mám pocit, že se na svém osudu sám nějak podílím. Naše mysl prostě funguje tak, že nás v takových situacích statistické pravděpodobnosti příliš nezajímají.

Takže nejvíc nás děsí bezvýchodnost?

Bezvýchodnost. A zřejmě i – asi někdy iracionální – pocit, že věci jaksi nemáme ve vlastních rukou. Když nasedám do letadla, tak se bojím, když řídím auto, nikoli, přestože je větší šance, že zemřu při autonehodě. Kdybych to letadlo řídil, taky se tolik nebojím.

Zkusme si představit ten náš model – jedu, řídím, zpoza stromu vyběhne tentokrát jen jedno dítě. Koho je v naší civilizaci etičtější zabít?

Ono hodně záleží na té civilizaci. Kdybyste byl v Německu, tak vám tyhle úvahy zakážou vůbec vést. Protože mají za sebou určitou historii. Ale kdybychom měli věc analyzovat: To dítě má před sebou delší život, a někdo by proto řekl, že bychom měli dít přednost dítěti. Ale co kdyby to byl novorozenec? Platí to i pro něj?

Myslím, že záleží na tom, jak se mne ta situace osobně týká…

Jsou věci, jež někdo v abstraktní rovině teorií považuje za správné, ale lidé je nikdy nepřijmou. Někteří etikové, jako Peter Singer, říkají, že novorozenci nemají žádné právo na život. Má k tomu i teorii. Tvrdí, že právo na život má bytost, která si uvědomuje, že existuje a trvá. Že má nějaké „já“. Vy máte představu o tom, že žijete, rozlišujete předtím a potom a chcete žít. Ale on říká, že novorozenci tuhle představu nemají. Takže novorozence smí autonomní auto obětovat?

Tím se ovšem dostáváme velmi blízko k představě, že hodnota života není u všech lidí stejná.

V případě novorozenců dva vědci, Giubilini a Minerva, nedávno publikovali článek, kde mluví o takzvané postporodní aborci, postporodním potratu. Podle jejich teorie mají děti právo na to, aby s nimi nebylo zacházeno tak, aby je to bolelo. Ale nemají právo na život. Když je zabijí bezbolestně, tak je zabít mohou; a to třeba i z ekonomických důvodů. Autoři zde dotáhli Singerovu teorii do důsledku. Singer v jedné své knize říká, že dříve byla morálka založena na starých přikázáních, z nichž první znělo „všechny lidské životy mají stejnou hodnotu“. Singer ale věří v to, že v etice proběhla jakási koperníkovská revoluce, a nahrazuje toto přikázání svým novým „lidské životy mají různé hodnoty a podle toho se k nim můžeme chovat“. Novorozenec má jinou hodnotu než dospělý člověk, jinou má člověk v kómatu, jinou člověk s demencí.

Co mu udělali, když to publikoval?

Vůbec nic. To je to úžasné. V devadesátých letech měl mít přednášky v Německu a ve Švýcarsku, a tam postižení protestovali a zabránili mu tyto přednášky uskutečnit. Teď je profesorem na Princetownu a občas se tam konají demonstrace proti jeho názorům. Ale žádný akademický postih nebyl. A to, ani když na univerzitě někteří sponzoři vyhrožovali, že jí kvůli Singerovi stopnou dotace. Univerzita odpověděla, že je pro ni důležitější svoboda vyjadřování, a peníze oželela. Dokonce i jeden z největších kritiků, prof. Robert P. George z téže univerzity, se postavil za Singerovo právo na vlastní názor.

Mohlo by se něco takového stát v Česku?

Tady se stalo, že jeden nejmenovaný vědec publikoval článek, v němž psal o strašně specifické situaci tzv. zrůd. Nešťastný termín, ale byl to odborný článek a odborný časopis. Je to odborný výraz pro dítě, jež se narodí, ale morfologicky jako člověk moc nevypadá. Třeba kyklopie. Jedno oko uprostřed čela. Když už se narodí, je jejich život krátký a v podstatě se „nechají zemřít“. Tento vědec přišel s tezí, že by bylo humánnější je rovnou usmrtit. Druhá teze, velmi kontroverzní, ale ne zas tak nepochopitelná, kterou řekl, že by o tom neměla rozhodovat matka. Ta je v přílišném emočním vypětí a takové rozhodování by ji mohlo vážně poznamenat. Článek to nebyl moc kvalitní a byly s ním spojeny i jiné problémy, o to však nejde.

O co tedy?

Jde o to, že prakticky všechny české noviny zcela překroutily to, co onen člověk napsal, a nařkly ho, že je moderní doktor Mengele, jenž chce zabíjet postižené děti. A od nich se to rozšířilo do světa, Itálie, Německa, USA… Dotyčný přišel o všechny funkce, vyhodili ho z práce, z ústavu, který sám zakládal. Nikdo se ho v podstatě nezastal, jeho kariéra skončila.

Jak dlouho jsme před zavedením vraždících válečných robotů?

Takové stroje existují, ale zatím, pokud vím, rozhodnutí „pal“ činí nějaký člověk. Na terminátora si asi ještě nějaký ten čas počkáme.

A jak dlouho nás nechají roboti s umělou inteligencí naživu?

Dobrá otázka. Myslím si, že netušíme, kdy vznikne obecná umělá inteligence. Existují „částečné“ inteligence – porazí nás v šachu, budou lépe řídit auta. Někdo tvrdí, že autonomní automobily budou běžně k dispozici kolem roku 2027. Ale bod, kdy umělá inteligence vznikne, bude zřejmě nečekaný – a bude to jeden okamžik. Schopnosti umělé inteligence budou narůstat postupně, hromadit se a pak skokem vznikne inteligence převyšující ve všech ohledech tu naši – superinteligence. Zřejmě se začne chovat jako bytost mající vědomí, jež se stará o svoje bezpečí a reaguje. Nevíme, kdy to nastane. Ale až to nastane, tak to vidím pro nás lidi dost pesimisticky. Až ta bytost získá vědomí, které bude radikálně jiné než naše, tak nikdo nemá nástroje, jak určit, jak se bude chovat.

David Černý: Etika umělé inteligence a robotů (od roku 2004 vstoupil do užívání výraz „roboetika“) představuje jednu z aktuálních výzev současné vědy, na jejímž řešení se musí podílet odborníci z různých vědních oblastí (inženýři, informatici, matematici, filosofové či etikové). Dříve než se začneme věnovat konkrétním etickým výzvám moderních technologií, bylo by asi dobře, abychom si ujasnili základní výrazy. Co si tedy vlastně máme představit pod pojmy umělá inteligence a robot?

Jiří Wiedermann: Pro účely tohoto rozhovoru pod těmito pojmy pravděpodobně není potřebné představovat si nic jiného, než si představuje většina lidí. Umělá inteligence je inteligence, kterou vykazuje nějaké zařízení či stroj, tj. ne člověk ani zvíře. Robot je zařízení, které je řízeno umělou inteligenci a je zkonstruováno tak, aby vykonávalo i složitější posloupnosti činností, které by jinak, alespoň teoreticky, mohl vykonávat pouze člověk anebo zvíře. Robot může být sestrojen v podobě lidského těla – tehdy se jedna o tzv. androidy – avšak většina dnes používaných robotů má „tělo“ přizpůsobeno spíše druhu činnosti, kterou má vykonávat. V českém prostředí se mi líbí definice androidního robota, která pochází od Karla Čapka: „Robot je Golem, provedený v masové tovární výrobě.“ Cílem snažení je samozřejmě zkonstruovat umělou inteligenci srovnatelnou, či dokonce předčící inteligenci lidskou.

DČ: Na chvilku se zastavme u snahy zkonstruovat umělou inteligenci srovnatelnou (obecná inteligence) či dokonce předčící inteligenci lidskou (superinteligence). Jak vlastně poznáme, že jsme v tomto snažení uspěli? V roce 1950 publikoval britský matematik Alan Turing slavný článek s názvem „Computing Machinery and Intelligence“, v němž navrhl test, který by nám měl dovolit na naši otázku odpovědět. Jenže celý tento tzv. Turingův test je problematický. Na jedné straně jím totiž neprojdou bytosti, o nichž si myslíme, že určitou schopnost myšlení mají (např. orangutani či delfíni), na druhou stranu si nemůže být jisti, že bytost či stroj, které testem projdou, skutečně myslí. U lidí totiž neusuzujeme na schopnost myslet pouze z toho důvodu, že testem projdou, ale také díky tomu, že mají stejnou evolučně navrženou „architekturu“ mozku. Poznání skutečnosti, že stroje mohou myslet, je však velmi důležitá. Jednak proto, že stroje mohou být nebezpečné a měli bychom proto pokud možno s jistotou vědět, kdy překročí určitou hranici, za níž o nich lze hovořit jako o strojích myslících. A potom nás samozřejmě zajímá i to, jak se ke strojům smíme chovat; a kapacita myšlení může představovat důležitý morálně relevantní faktor. Jaký je Tvůj názor?

JW: Souhlasím, je to tak – žádný spolehlivý test na to, jestli nějaká bytost, či nějaké zařízení myslí, nemáme. Situace je trochu podobná situaci, kdy nemáme test na to, jestli nějaké zařízení počítá. Např. když tvrdím, že dané zařízení je kalkulačka, která vynásobí libovolná dvě čísla, tak toto tvrzení nelze dokázat testováním konečného počtu dvojic čísel, jestli je dané zařízení správně vynásobí. Jediný způsob, jak to dokázat, je podívat se „dovnitř“ zařízení, jestli je tak zkonstruováno, že prokazatelně vynásobí libovolná čísla. Toto zatím v případě myšlení nedovedeme, protože nevíme, jaká je ta „správná“ architektura myslících strojů anebo organizmů. Víme však, že možných různých architektur „mozků“ je mnoho. Např. chobotnice má podstatně odlišnou stavbu svého mozku než např. savci, a přesto vykazuje překvapivě vysokou míru inteligence ve svém prostředí. Neurovědy a teorie umělé inteligence přinášejí první poznatky, které odhalují principy fungování myslících strojů. Celá oblast stále čeká na svého Turinga, který přijde s matematickým, formálním modelem myslících zařízení, jehož myšlení bude funkčně ekvivalentní myšlení všech anebo aspoň většiny známých myslících entit. Teprve poté budeme schopni odpovědět, jestli daný objekt myslí, a když ano, tak do jaké míry. Hledání takového modelu je jedním z problémů, kterými se zabývám.

DČ: Švédský filosof Nick Bostrom se ve své knize Superinteligence (v češtině vyšla v roce 2017) zabývá také možnostmi vzniku strojové inteligence, která lidské kognitivní schopnosti překonává ve všech relevantních oblastech. Jednou z možností, jež zvažuje, je zárodečná umělá inteligence, která prostřednictvím rekurzivního sebezlepšování (iterativních úprav své vlastní architektury) může dospět až k inteligenční explozi a ve velmi krátké době radikálním způsobem překonat inteligenci lidskou. Jaký je tvůj názor na tuto představu o vzniku superinteligence?

JW: S představou o vzniku superinteligence se zárodečné umělé inteligence souhlasím, ale myslím, že idea rekurzivního sebezlepšování pomocí iterativních úprav vlastní architektury není postačující ke vzniku vyšší inteligence. Věc se má totiž tak: sebelepší úpravou architektury nezískám nic jiného nežli urychlení či jiné vylepšení procedur (např. paměťové náročnosti), které systém používá. My však potřebujeme, aby systém uměl "víc", aby uměl řešit ještě i jiné problémy, než předtím, případně, aby je řešil správně, pokud je předtím systém řešil nesprávně anebo neuměl řešit vůbec. To se vylepšováním software dosáhnout nedá. Cesta k tomuto cíli je jiná.
Výpočty každého systému, i inteligentního, se v principu dějí v rámci nějaké znalostní teorie, která obsahuje výchozí množinu znalostí (axiomy), ze které se pomoci odvozovacích pravidel dají odvozovat další znalosti. Z matematické logiky víme, že existují různé druhy odvozovacích pravidel, které ale vedou k odvození stejné množiny znalostí. Liší se pouze efektivita odvozování, nikoliv výsledky. Aplikace odvozovacích pravidel se děje pomocí výpočtu, tj. pomocí "software". Z toho je zřejmé, ze sebedůmyslnější zlepšování software nemůže v dané znalostní teorii odvodit jiné výsledky než předtím. Nové výsledky lze odvodit pouze změnou teorie, zejména změnou jejích axiomů.
A to otevírá cestu k řešení. Sestrojíme zárodečný systém tak, aby systematicky hledal rozpory mezi tím, co dovede odvodit v rámci své znalostní teorie, a co zjistí pomocí experimentů (pozorování), pokud je systém může sám provádět. Pokud ne, tak výsledky experimentů dodáme do systému ve formě tzv. znalostních dat, které se stanou novými axiomy nové, rozšířené znalostní teorie. Pokud systém neshledá tuto novou teorii rozpornou, tak se nic nemění, systém generuje nové znalosti a absorbuje nová data. Narazí-li ale na rozpor, systém hledá novou znalostní teorii, která by byla v souladu se všemi poznatky, které má k dispozici, a dále funguje na bázi této nové teorie až do té doby, nežli narazí na rozpor. Atd. Je zřejmé, že takto se teorie prokazatelně zlepšuje, což je současně důkaz o její rostoucí inteligenci.
Z popperovského hlediska se můžeme na takový systém dívat tak, že systematicky hledá cesty, jak falsifikovat svoji vlastní znalostní teorii, a když se mu to podaří, systematicky hledá způsoby, jak upravit původní teorii tak, aby odpovídala novým poznatkům. Jedná se tedy opět o sebezlepšovací proces, ale nyní se zlepšuje nikoliv software, ale příslušná znalostní teorie. Ostatně, podobný proces je v pozadí kuhnovské teorie vědeckých revolucí.
To jsou hlavní myšlenky procesu, který prokazatelně vede k neohraničenému nárůstu inteligence, pokud systém dostává či sám si obstarává nové podněty ve formě znalostních dat. Tento proces jsme navrhli společně s kolegou Janem van Leeuwenem z Utrechtu před několika lety jako reakci na představu prezentovanou v Bostromově knize. Z výpočetního hlediska to není jednoduchý proces, a intervaly mezi „objevením“ nové znalostní teorii se mohou prodlužovat bez ohledu na to, jak výkonné počítače se použijí. Takže se vůbec nemusí jednat o inteligenční explozi, nýbrž o postupnou evoluci.

DČ: V současné době se v roboetice řečí také problém práv robotů, tj. otázka, jak bychom se my lidé měli k inteligentním umělým systémům chovat. Z etického hlediska není samotná otázka příliš zajímavá, máme již vypracované teorie, jež přesně určují, za jakých podmínek je možné nějaké bytosti či entitě přiznat práva či obecněji náležitost do morální komunity. Nejčastěji hledáme nějaké vlastnosti, jež považujeme za morálně relevantní. Pokud určitá bytost či entita B má vlastnost X a X je morálně relevantní vlastnost, potom B náleží do morální komunity. Jedná se o první krok, který může posléze vyústit např. v přiznání nějakých základních práv. Jednou z často zmiňovaných morálně relevantních vlastností je vědomí. Společně se svým nizozemským kolegou Janem van Leeuwenem jsi navrhl formální model AI, která má kvália, tj. určitou minimální formu vědomí. Mohl bys tento model stručně popsat?

JW: Model není zcela jednoduchý, a proto jej nelze stručně popsat. Není divu – záhada lidského vědomí jako výpočetního fenoménu převládá v odborné literatuře již přinejmenším dvě desetiletí a existují dokonce odborníci, kteří se domnívají, že tato záhada nebude nikdy uspokojivě vyřešena. Náš model neaspiruje na to, aby byl považován za model lidského vědomí. Myslíme si však – a máme pro to dobré argumenty –, že vystihuje jisté minimální vlastnosti i lidského vědomí, jež jej činí zajímavým přinejmenším v kontextu strojového vědomí.
Nuže, náš model se liší od dosavadních úvah o mechanismech vědomí, které uvažovaly o vědomí jako o vlastnosti speciálního software, tím, že navíc vyžaduje specializovanou architekturu příslušného výpočetního zařízení. Na model lze nahlížet jako na tzv. vtělený počítač, který je vybaven senzory, které zkoumají a vnímají okolí, a motorickými jednotkami, které mu umožňují vykonávat jisté činnosti v prostředí. To je známé a velmi obecné schéma libovolného robota. Chování takového robota je zcela dáno informacemi, které dostává od svých senzorů. Náš model je složitější verzí tohoto základního zařízení. Navíc vyžadujeme, aby mezi senzory i motorickými jednotkami na straně jedné, a řídící jednotkou robota na straně druhé, existovala zpětná vazba, v tomto smyslu: senzorické jednotky dodávají informaci nejen informaci o tom, co „vnímají“, ale též informaci o kvalitě tohoto vjemu. Kvalita vjemu závisí na jeho druhu: jestli se jedná a zvukový vjem, tak nás zajímá např. jeho intenzita, trvání, výška tónu, jeho zabarvení atp. V případě zrakového vjemu nás zajímá jeho ostrost, osvětlení, intenzita atd. Zpětnou vazbu vyžadujeme i od motorických jednotek: jestli se nějaká akce vydařila např. zcela nebo jenom částečně, nebo vůbec. Příčiny, proč se některá akce nebo pozorování nezdaří podle představ, mohou být jak technického rázu, tak – a to zejména – dané nepředvídatelností okolí. Robot může uklouznout, může do něj něco narazit, před kamerou se může objevit nějaká překážka apod. Již zde je vidět, jak je zpětná vazba důležitá – umožní robotu napravit některé „málo kvalitní“ akce, třeba jejich opakováním, anebo pomocí jiných opravných akcí.
Z tohoto poněkud zdlouhavého popisu je třeba si zapamatovat, že náš robot již nejedná pouze na základě vjemů od senzorických jednotek, ale i na základě kvality těchto vjemů a informací od motorických jednotek. To vše jsou vstupní informace, které musí robot zpracovat a vybrat vhodnou další akci.
A teď, jaký je mechanizmus vzniku kválií a k čemu jsou dobré.
Software robota je navržen tak, aby (kromě jiných akcí, odpovídajících situaci) prováděl klasifikaci svých vstupních informací. To znamená, že robot pomocí mechanismu, který popíšeme v dalším, vybere ze vstupních informací „důležité“ položky, na základě kterých klasifikuje vstup a přiřadí mu jednoznačně určitý „vnitřní stav“, který již reprezentuje odpovídající kválii (neboli „subjektivní zkušenost“, či „subjektivní prožitek“.). V případě autonomního vozidla může být příkladem takové kválie přechod do stavu, jehož sémantika je např. „jsem ve smyku“, anebo „dochází mi palivo“, anebo „zleva mě předjíždí auto“, anebo „je tma, prší a teplota je kolem nuly“ atp. Z těchto příkladů je snad zřejmé, které položky vstupních informací jsou důležité pro tu-kterou kválii. Klasifikační mechanizmus tedy – pro větší efektivitu paralelně – zkoumá vybrané položky vstupní informace a výsledkem klasifikace je aktivace příslušné kválie.
Charakteristický rysem kválií je jejich delší přetrvávání v čase, během kterého zařízení musí provést více akcí než skončí platnost podmínek, jež kválii iniciovaly. A to přesně je jejich význam – informovat zařízení, přesněji jednotlivé jeho moduly, že přetrvávají jisté podmínky, které vyžadují vykonat posloupnost koordinovaných akcí, které vyřeší situaci.
Pro iniciování kválií tedy model vyžaduje znalost toho, co se děje kolem něho (tzv. sebe-znalost) a zpětnovazební informace od svých senzorů a motorických jednotek, jestli a jak dobře fungují (tzv. sebe-monitorování). Pro využití kválií model musí mít navíc zařízení, které (např. formou vysílání) informuje jeho moduly o stávajícím subjektivním prožitku.
Kválie, kterým v kontextu našeho modelu říkáme strojové kválie, tvoří v našem modelu základ jisté minimální formy strojového vědomí. Aby model nabyl takové vědomí, je nutné ještě splnění další podmínky, a to je uvědomění si sebe sama. To znamená, že robot potřebuje mít znalost, že je odlišný od ostatních podobných zařízení, které se mohou stát předmětem jeho vjemů, a také musí být schopen odlišit následky akcí, které sám inicioval, od těch ostatních. To první odlišení se děje na základě toho, že robot má informace o tom, jak se jeví prostřednictvím svých senzorů ostatní zařízení, se kterými může přijít do styku. To druhé – důsledky svých vlastních akcí – rozezná podle toho, že má k dispozici znalost toho,
jaké motorické akce inicioval, a zpětná vazba od příslušných motorických jednotek potvrzuje, že skutečně pozoruje důsledky svých vlastních akcí. Pokud tomu tak není, tak robot pozoruje jiné úkazy než svoje vlastní akce.
Tím se konečně dostáváme k neformální definici, kdy má robot minimální strojové vědomí: to nastane, když má robot vlastnosti sebe-znalosti, sebe-monitorování a sebe-uvědomění a generuje kválie, jež jsou dostupné pro všechny jeho moduly. Minimální strojové vědomí představuje výpočetní mechanizmus, který zlepšuje celkovou výkonnost, spolehlivost a robustnost systému tím, že umožní jeho efektivnější rozhodování v situacích, kdy systém nemá k dispozici kvalitní informace od svých senzorů a motorických jednotek. Zpětná vazba umožňuje spolehlivější detekční schopnosti, což vede ke snížení počtu falešných alarmů, k možnosti opravy chybných akcí a zvýšené bezpečnosti. U složitějších systémů umožňuje dostupnost kválií pro všechny podsystémy jejich efektivnější a koordinovanou reakci, protože se nemusí každý zvlášť zabývat inspekcí všech podnětů. Kválie totiž reprezentují jakousi předzpracovanou informaci, která v sobě nese všechny podstatné rysy dané situace.

DČ: To je nepochybně fascinující model. Jestli tomu rozumím správně, stroj obdařený vědomím a kválii, dle vašeho modelu, obsahuje předem dané a definované třídy možných vstupů, do nichž jsou jednotlivé konkrétní vstupy zařazeny a ipso facto klasifikovány (v čemž spočívá „uvědomění si quale“, tj. kvality daného vstupu). Bylo by možné vytvořit takový model, který by obsahoval třídu, jež by klasifikovala vstupy od senzorů a monitorace vnitřních stavů systému nezbytných pro dobré fungování samotného stroje? Podobně jako člověk nějak „pocítí“, když s jeho organismem není něco v pořádku, tak by tento stroj „pocítil“, že něco nefunguje správně. Kdyby tento model obsahoval i normativní složku (zřejmě vytvořenou v nějakém systému deontické logiky), mohl by stav „zdravý“ – tj. plně funkční – klasifikovat jako „správný“, „dobrý“, „hodný udržování“. Potom už bychom mohli hovořit o tom, že pro daný stroj je něco dobré – v normativním smyslu – čímž by se otevřel prostor pro zajímavé etické úvahy.

DČ: Rád slyším, že Tě model fascinuje. Jistě, stroj, ve smyslu našeho modelu, jenž by měl kválii, se sémantikou „jsem v pohodě“, jde sestrojit a je to speciální případ jakékoliv jiné kválie. Takový stroj by samozřejmě musel mít senzory a motorické jednotky, jejichž údaje by poskytovaly informace potřebné pro takovou kválii. Např. v případě autonomního vozidla by to mohly být údaje o teplotě motoru, otáčkách, rychlosti vozidla, dostatku paliva, tlaku v pneumatikách atp. Je zřejmé, že existuje nějaké optimální rozpětí těchto sledovaných veličin, ve kterých se mohou pohybovat jejich kvality. Toto rozpětí pak definuje onu zmíněnou „pohodu“. Takže tato kválie, a případně i jiné, vlastně definují normativní stavy systému. Všimněme si, že náš model umožňuje, aby systém byl současně ve více klasifikačních stavech (odpovídajícím kváliím). Je dobré si uvědomit, ze takové normativní stavy vlastně definují jisté rovnovážné stavy systému, a tudíž odpovídají homeostázi biologických systémů. V našem případě bychom tedy mohli hovořit o strojové homeostázi. Prostor pro etické úvahy je zde značný, protože model umožňuje definovat alespoň základní etické kválie a takový stroj by pak mohl být navržen tak, aby měl tendenci udržovat „etickou homeostázi“. Nevím, jestli posledně zmíněný pojem etické homeostáze v roboetice existuje.

DČ: Myslím si, že pojem „etická homeostáze“ neexistuje, měli bychom ho zavést. Pojďme se ale nyní z oblasti otázek „jak se chovat k inteligentním systémům“ přesunout k dnes nepochybně důležitějšímu problému „jak se inteligentní systémy mají chovat k nám“, hlavnímu problému současné roboetiky. Stroje v podstatě lze „zpravit“ o nějakých etických principech třemi způsoby: i) shora, tj. formou obecných morálních principů ve formě základní formální množiny principů + principů odvozování, ii) zdola, tj. učením, iii) kombinací obou přístupů. Příkladem prvního přístupu jsou slavné Asimovovy zákony roboetiky, poprvé formulované již v roce 1942 v povídce Runaround. Jenže již v této povídce Asimov ukazuje neadekvátnost tohoto přístupu: konkrétních situací je prostě příliš mnoho, je třeba je umět interpretovat a lze pochybovat o tom, že je možné je všechny předem vtělit do podoby několika velmi obecných pravidel. Druhý přístup funguje na principu učení: namísto abychom umělé inteligenci předem řekli, co je správné a co není, vystavujeme ji velkému množství konkrétních situací a necháme ji, aby si postupně nějaká pravidla zformovala sama. Problém je samozřejmě v tom, že neexistuje žádná shoda na tom, co je a co není správné, těžko bychom tedy vytvořili rozsáhlou sadu případů, které by k učení umělé inteligenci mohly sloužit. Dnes se proto nejčastěji hovoří o kombinovaných přístupech, jež by měly využívat obou možností, tj. nastavení nějakých obecných pravidel a učení. Jaký je Tvůj názor na to, jak bychom měli umělou inteligenci naučit jednat morálně správně?

JW: To je otázka trochu mimo moji specializaci, ale pokusím se odpovědět.
Předně, myslím, že není jedno, jakou umělou inteligenci chceme naučit jednat eticky. Resp. jinak: ne každá umělá inteligence potřebuje jednat eticky na stejné úrovni. Záleží to na tom, s kým nebo s čím přichází do styku, a jak velký je "svět", či výseč reálného světa, ve kterém ona zmíněná inteligence pracuje. S jakými etickými problémy se setkává, jaká – jestli vůbec nějaká – etická dilemata musí řešit. Čím složitější je etika světa, ve kterém a se kterým inteligence jedná, tím větší etické nároky na ni. Dále záleží na tom, jestli má anebo potřebuje umělá inteligence mít vědomí, svobodnou vůli a do jaké míry je kreativní.
Např. robotický vysavač zřejmě nemusí splňovat posledně zmíněné podmínky, autonomní vozidlo nemusí mít svobodnou vůli a nemusí být nijak zvlášť reaktivní. Jednoduché systémy, nevyžadující žádné složité etické chování, je zřejmě možné „natvrdo“ naprogramovat, složitější systémy se to musí naučit, ale to může být komplikované, až nemožné, jak správně zdůrazňuješ ve své otázce. Kombinovaný přístup problém moc neřeší, to je obezlička, když si nedovedeme vybrat ze dvou možností. Zkusme najít „třetí cestu“.
Ve světle našeho výzkumu o minimálním strojovém vědomí si totiž myslím, že každá umělá inteligence by měla jím být obdařena. Dokonce se myslím, že toto by měla být definiční podmínka pro systémy umělé inteligence. Dále, pokud se má takový systém chovat eticky, musí se „chtít“ tak chovat, musí tak být navržen, musí mít příslušné etické kválie a musí mít „intence“ aktivace těchto kválií vyhledávat. Zde opět přichází na pomoc náš nápad s etickou homeostází. Takový systém by ze své samotné povahy nemohl jednak jinak než eticky, anebo se o to alespoň snažit, protože by to ani jinak nesvedl. V jednodušších případech by bylo možné systém takto naprogramovat. Je také myslitelné, že etickým kváliím lze systém učit pravděpodobně pomocí evolučních algoritmů a kombinací ve Tvém dotazu uvedených přístupů. Zkrátka zařídit umělou evoluci umělé inteligence tak, aby se v ní vyvinula etická homeostáze. To mi připadá jako slibná cesta, která je hodna pozornosti. Je zajímavé, že takový systém by asi neměl mít neomezenou svobodnou vůli, ani neomezenou kreativitu, protože by mohl přijít s nápadem, co se stane, když nebude „poslouchat svá chtění (instinkty?)“.
Mimochodem, na podobný problém jsme s kolegou narazili, když jsme se zabývali problémem z oblasti superinteligence – jak zařídit, aby se tato neobrátila proti lidským zájmům. Tento etický problém nejvyšší urgence se v související literatuře intenzivně řeší (viz např. Bostrom) a žádné rozumné řešení doposud nebylo nalezeno. Z toho také pramení seriózní obavy o budoucnost lidstva vyslovované mediálně známými osobnostmi, které se považují za odborníky v těchto záležitostech (ale většinou jimi nejsou, pohříchu). Spíše si myslím, že ještě velmi dlouho se nemusíme „vzpoury superinteligence“ obávat. Přesto by bylo dobré znát nějaké řešení.
Úvahy o etické homeostázi otevírají zajímavou možnost, kterou bude potřebné pečlivě prozkoumat. Již teď je však zřejmé, že bez porozumění podstatě vědomí to nepůjde.
Ještě na okraj k otázce, jestli má mít robot alespoň minimální vědomí, a tím pádem kválie. Ve filosofii mysli se uvažuje, jestli může existovat systém k nerozeznání od člověka – tzv. zombie, který se chová, jako by měl lidské vědomí, ale ve skutečnosti by neměl žádné vědomí. Většina, ne-li všichni současní roboti jsou zombies. Je zajímavé, že americká filosofka Susan Schneider si myslí, že mít vědomí nemusí být vždy výhodné – např. inteligentní mimozemšťané by mohli být zombies. Tím by ovšem přišli o výhody spojené s vědomím – viz odpověď na čtvrtou otázku. Proto si myslím, že alespoň minimální vědomí by i mimozemšťané měli mít.

DČ: Děkuji Ti za rozhovor.