Co je to robot?

Plně autonomní letální vojenští roboti jsou roboti, kteří mají v podmínkách válečného konfliktu jednoznačně určený cíl: najít a zlikvidovat nepřátelské cíle. Finalitou (konečným cílem) těchto strojů, která se promítá do jejich vývoje, designu i operačního uplatnění, je zabíjení a ničení vojenských cílů, což samozřejmě vyvolává celou řadu etických otázek. Než k nim přistoupíme, je třeba alespoň zběžně určit, co přesně budeme v kontextu etické reflexe rozumět „plně autonomními letálními vojenskými roboty“.

V první řadě se jedná o roboty. Ale i když je toto slovo dnes poměrně široce rozšířené, je překvapivě obtížné přesně definovat jeho význam a jasně vymezit třídu artefaktů, které jsou roboty, a odlišit ji od těch, které roboty nejsou. Naše představy a intuice ohledně robotů (alespoň v našem západním kulturním okruhu) jsou utvářeny mýty, antickými i moderními (sci-fi), které zvláště v moderní době, zhruba od 19. století, ve své vědeckotechnické imaginaci předbíhají současný stav poznání a technických možností. Lze říci, že roboti zde s námi byli dávno před tím, než vznikla robotika jako obor snažící se přenést tyto artefakty ze sféry literární a filmové představivost do reálného světa. Snad každý z nás proto má nějakou představu o tom, co je „skutečný“ robot a co nikoli, namísto reálných robotů jsou ale tyto představy nerealisticky utvářeny fiktivními stoji, jako je známá dvojice R2-D2 a C-3O z filmové franšízy Hvězdné války nebo Bender (a další) ze seriálu Futurama. Dokonce ani mezi odborníky – robotiky – neexistuje shoda na tom, jak roboty definovat. Americký robotik I. L. Nourbakhsh proto varuje, že bychom robotikům neměli klást otázku, co je to robot, protože odpověď se neustále mění společně s dynamickým pokrokem na poli robotiky a umělé inteligence.

V tomto textu se budu držet jedné z nejrozšířenějších definic robotů, kterou předložil americký robotik G. A. Bekey:

Robot. Robot je artefakt, který:
1. Prostřednictvím senzorů vnímá své okolí.
2. Zpracovává smyslové vjemy (percepty) a vytváří si plány jednání.
3. Disponuje akčními členy (aktuátory), které mu umožňují aktualizovat plány v nějakém prostředí. 

Robotem tedy rozumíme nějaký stroj, který existuje ve fyzickém světě, dokáže vnímat své okolí, zpracovávat získaná data, vytvářet si nějaké plány činnosti v závislosti na uložených úkolech, a nakonec tyto úkoly plnit prostřednictvím různých typů akčních členů (kolečka, pásy, manipulátory apod.). Tato definice sice poměrně jasně určuje, jaký artefakt máme považovat za robota, přesto však ponechává poměrně širokou šedou zónu artefaktů, o nichž si nejsme jisti, zda roboty jsou, či nikoli. Někteří autoři například nepovažují za nutné, aby robot existoval v reálném prostředí, některé softwarové programy lze proto považovat za roboty. Jiní požadují, aby roboti disponovali alespoň nějakou základní mírou autonomie, takže programovatelné průmyslové roboty za roboty v „pravém“ slovy smyslu nepovažují. Myslím si, že neexistuje žádné jednoznačné řešení tohoto problému, musíme prostě přijmout jistou míru nejistoty, dokonce i relativismu, a nějak se rozhodnout. V některých kontextech je například užitečné považovat za roboty i software, v jiných to nutné není. V dalších je zase vhodné zahrnout do rodiny robotů i průmyslové roboty apod. 

V tomto reportu budu roboty chápat ve shodě s výše uvedenou definicí, kterou blíže vymezuji následujícím způsobem:

Robot*. Robot je artefakt, který:
1. Existuje ve fyzickém světě a má tělesnou podobu.
2. Prostřednictvím senzorů vnímá své okolí.
3. Zpracovává smyslové vjemy (percepty) a vytváří si plány jednání.
4. Disponuje akčními členy (aktuátory), které mu umožňují aktualizovat plány v nějakém prostředí. 

Autonomie

Roboti jsou stroje stvořené k tomu, aby plnily nějaké úkoly, jejich autonomii tedy můžeme definovat vzhledem k těmto úkolům (task autonomy) následujícím způsobem:

Autonomie. Robot R je autonomní při řešení úkolu T (R je T-autonomní), pokud neexistuje systém S takový, že S ovlivňuje řešení T robotem R.

V této podobě však definice příliš informativní není, proto ji nyní blíže vysvětlím. Systémem S zde budu vždy myslet člověka (byť lze pomýšlet i na umělé systémy ovlivňování a kontroly realizace T) a jeho vztah k T specifikuji prostřednictvím tří v literatuře zavedených pojmů. Mějme tedy R, S a nějaký T, potom mohou existovat tři úrovně T-autonomie R:

Úrovně T-autonomie. Pro nějakého R, systém S a úkol T může platit:
1. S je v operační smyčce R (in the loop).
2. S je nad operační smyčkou R (on the loop).
3. S je mimo operační smyčku R (out of the loop).

V případě i) platí, že konečný cíl jednání, například likvidace cíle, schvaluje či přímo provádí člověk. Jiné cíle – instrumentální cíle nutné k naplnění T – však může autonomně provádět R. Například dron může v plně autonomním režimu hlídkovat nad určitým územím, identifikovat cíl a požádat operátora, aby schválil/provedl konečný krok. Vzhledem k T tedy R autonomní není, může však být v různé míře autonomní vzhledem k instrumentálním cílům.

Modalita „nad operační smyčkou“ je již plně autonomní, protože konečný úkol je splněný strojem bez toho, že by žádal člověka o svolení/provedení posledního kroku. O této formě plné autonomie můžeme hovořit jako o dozorované autonomii (supervised autonomy). Již nastupující budoucnost válčení však představují plně autonomní stroje, které jsou nezávislé na člověku a jeho dohledu. Hlavním důvodem je reakční čas, který se nasazováním strojů nesmírně zkracuje a v kontextu reálného nasazení znemožňuje efektivní kontrolu ze strany člověka. Nechci tím říci, že žádný dohled nad stroji nebude možný či žádoucí, ale nebude součástí efektivního provádění konkrétního úkolu. Pokud se například ukáže, že nějaký robot zareagoval chybně, je možné ho ex post vypnout, nebude ale v lidských možnostech vypnout ho dříve, než chybná reakce proběhne. Stejně tak je možné, že dohled nad stroji budou provádět jiné stroje, takže budoucnost autonomních strojů bude budoucností strojově dozorované autonomie, nepochybně by se ale vynořily otázky ohledně autonomie dohlížejících systémů.

Zdá se mi, že z hlediska etické reflexe vyvolávají dozorované i plně autonomní vojenské robotické systémy takřka stejné otázky, byť se nuance jejich odpovědí mohou lišit (např. v otázce odpovědnosti). Nebude-li to nutné, nebudu v následující etické analýze rozlišovat mezi modalitou „nad smyčkou“ a „ve smyčce“.

Plně autonomní letální vojenští roboti

Nejdříve musím učinit jednu poznámku k terminologii. Někteří autoři hovoří jednoduše o „zabijáckých robotech“ (a vyjadřují tak své morální postoje k těmto moderním technickým artefaktům), jiní o vojenských robotech či letálních autonomních zbraňových systémech. Vojenští roboti (přesněji řečeno, letální vojenští roboti, neboť vojenští roboti plní celou řadu funkcí a jen některé z nich jsou určeny pro letální účely) jsou zřejmě našim představám nejbližší, současně to ale znamená, že si snadno za „vojenského robota“ dosadíme nějakého „Terminátora“ či podobný stroj. Jak jsem ale již napsal, bylo by to chybné. Moderní letální vojenští roboti mají celou řadu podob; mohou být „jedním kusem“ (např. systém SGR-A1), ale mohou mít také podobu bitevních sítí, jejichž jednotlivé složky jsou rozmístěny na fyzicky nespojených či nesousedících platformách. „Oči“ takového systému mohou představovat senzory dronu, řídící jednotka může být umístěna ve vojenském vozidle a akční prvky (např. rakety) na úplně jiném vozidle někde na bitevním poli. Mám ale za to, že jsou-li tyto prvky sjednoceny procesem vnímej-plánuj-jednej, jedná se o roboty, tedy i systém dron-řídící prvek-odpalovací stanoviště je podle mého názoru robotem, podobně jako jím je například izraelský vzdušný obranný systém Iron Dome, jež tvoří celá síť různě rozmístěných senzorů a raket země-vzduch. Vzdáme-li se tedy představy, že robot je nějaký stroj tvořený fyzicky spojenými prvky, můžeme i autonomní zbraňové systémy považovat za roboty. Ze stylistických důvodů budu používat jak výrazy „letální vojenský robot“, tak i „plně autonomní letální zbraňový systém“ a považovat je za synonymní. Následující definice shrnuje předchozí reflexi robotů, autonomie a vojenských robotů:

Plně autonomní letální zbraňový systém (letální vojenský robot). Artefakt A je plně autonomním letálním vojenským systémem (letálním vojenským robotem), pokud platí:
1. A je robotem, tj.
a) A vnímá své okolí prostřednictvím senzorů.
b) A si na základě vjemů vytváří plány jednání.
c) A disponuje akčními členy, které umožňují plnit konečné cíle A.
2. Konečným cílem A je usmrcení protivníků a/či zničení vojenských cílů; instrumentální cíle A jsou zaměřeny k splnění tohoto úkolu.
3. Modalita autonomie A je buď:
a) „na smyčce“ (dozorovaná autonomie),
b) „mimo smyčku“.

Argumenty pro využívání autonomních vojenských robotů

Představa plně autonomních vojenských robotů, kteří „kráčí“ po bojišti a sami se rozhodují, koho zabijí, je v mnoha ohledech hrozivá, byť je poněkud vzdálená realitě a ovlivněná zobrazováním těchto robotů ve sci-fi románech a filmech. Jak jsem již uvedl výše, plně autonomní vojenské letální systémy budou mít celou řadu podob a budou nasazovány v jasně definovaných situacích. Nemělo bychom si je představovat jako Terminátory s ohromnou ničivou silou a plnou autonomií nezávislou na lidech. Přesto ale je představa robotů zabíjejících lidi strašidelná. Existují vůbec nějaké dobré důvody je využívat?

První důvod je vcelku zřejmý. Rostoucí pokroky na poli umělé inteligence a robotiky představuje pro vojenský průmysl ohromné možnosti efektivnějšího a pro lidi bezpečnějšího vedení konfliktů. Nikdo z hráčů na mezinárodním poli nepochybuje o tom, že AI a robotika – nejen v – moderním válčení přinese důležitou geopolitickou a strategickou výhodu státům s nejpokročilejšími systémy vojenských robotů a umělé inteligence. Je s tím samozřejmě také spojeno reálné riziko nového (zřejmě již probíhajícího) závodu ve zbrojení, ale to je námitka, které se budu věnovat později.

Zastánci využívání vojenských robotů překládají celou řadu důvodů, které jsou svou povahou utilitární. Snaží se ukázat,
že je s ním spojena celá řada benefitů, které v konečné analýze převažují možná rizika a negativa.

Podívejme se nejdříve na podmínky ius ante bellum. Ned Dobos je jedním z průkopníků reflexe spadající do kategorie ius ante bellum. Ve své knize Ethics, Security, & the War Machine se zamýšlí nad výcvikem vojáků, který zahrnuje rutinu a dehumanizaci možných nepřátel. Z dějin válečných konfliktů víme, že lidí nejsou přirození zabijáci, dokonce ani ve válce. Zvláště pokud jsou nepřátelská vojska v blízkém kontaktu vojáci na sebe vidí), překvapivé množství z nich buď nevystřelí vůbec, nebo střílí tak, aby nikoho nezasáhli. Z pohledu teorie spravedlivé války to může být problematické, protože to může prodlužovat válečný konflikt se všemi hrůzami, které přináší, a samozřejmě také ohrozit vítězství spravedlivé strany konfliktu. Z lidského a psychologického hlediska to však je pochopitelné. Jedním z cílů vojenského výcviku je prostřednictvím rutiny a dehumanizace vytvořit vojáky, kteří v konfliktu nebudou váhat a zdráhat se zabít svého nepřítele. Podle Dobose to ale znamená, že vojenský výcvik – i v době míru – působí vojákům morální újmu, která se může negativně projevit celou řadu psychických potíží a mít negativní dopady na společnost.

Zastánce využívání vojenských robotů může tyto úvahy chápat jako jeden ze vstupů do utilitaristické úvahy: je-li pravda, že i samotný výcvik vojáků je spojený s negativy (morální újma a jevy z ní vyvstávající), potom je možné udělat hodně dobra prostě tím, že armádu zmenšíme a současně zachováme její bojový potenciál (nebo ho dokonce zvýšíme). Od vojenských robotů si lze slibovat právě toto: nebude třeba tolik lidských vojáků, kteří v době míru musí podstupovat vojenský výcvik. Pakliže to platí, můžeme to v etické reflexi připsat vojenským robotům k dobru.

Další možné etické – nikoli strategické – výhody využívání vojenských robotů lze situovat do oblasti ius in bello. Rozdělím je do několika skupin:

1. Jedním z trvalých problémů vojenských konfliktů je nedodržování pravidel ius in bello, a to ani dobře vycvičenými vojáky. Důvodů je celá řada: nejasné rozkazy, nedostatečná připravenost na situace, s nimiž se vojáci setkávají, deprese, zlost a nenávist spojená s tím, že umírají přátelé a kolegové, přehnaná agresivita, ale také touha ubližovat či se mstít. Nelegitimní cíle – primárně civilisté a civilní budovy – mohou být ale zasaženy i z jiných důvodů, například v důsledku boje pod tlakem, chybného určení cíle apod. V moderních válkách – na rozdíl od válek středověku a raného novověku – umírá stále více civilistů a další jsou vystavěni nekorektnímu jednání, ponižování, dokonce i mučení, jejich obydlí a majetek mohou být zničeny či rozkradeny. Jednotícím prvkem těchto situací je voják, člověk, který prožívá hrůzy války a často na ně nedokáže adekvátně reagovat. Zastánci využívání vojenských robotů se domnívají, že všechny tyto problémy by mohly – když ne zcela odstranit – ta alespoň efektivně eliminovat stroje obdaření inteligenci a autonomií. Nemají emoce, mohou se proto rozhodovat pod vlivem strachu, hněvu, deprese, touhy po pomstě, majetku či ze sadistických pohnutek. Kromě toho lze očekávat, že budou mít kvalitní senzory a vyšší než lidskou schopnost rozlišovat legitimní a nelegitimní cíle. Podaří-li se naplnit tyto přísliby, mohli by se vojenští roboti stát ideálními vojáky z pohledu etických podmínek vedení vojenského konfliktu: budou efektivně rozlišovat cíle, nebudou jednat pod vlivem emocí či únavy a tím ochrání civilisty a jejich majetek. Hrůzy války se tak nepodaří eliminovat, ale jednu z jejích nejděsivějších podob – zabíjení, mučení, ponižování a okrádání civilistů – by bylo možné výraznou měrou redukovat.

2. Válka představuje masivní zabíjení lidí, kteří si často toto řešení konfliktu nevybrali. Každý zachráněný lidský život je důležitou hodnotou a čím více lidí zachráníme, tím lépe. Etická rozvaha je jednoduchá a přímočará: je-li možné X % vojáků nahradit roboty, znamená to, že X % vojáků nebudeme vystavovat ohrožení na životech a zdraví. Kromě toho, mnozí vojáci, kteří zůstanou součástí aktivních vojenské služby, nebudou muset bojovat přímo, spíše budou fungovat jako údržbáři strojů, budou dohlížet nad jejich zapojením do bojového konfliktu, obsluhovat je v nějakých fázích operací apod. Bylo by naivní si myslet, že konflikty blízké budoucnosti se povedou pouze mezi stroji, nicméně každý potenciálně zachráněný lidský život (vojáci nahrazení roboty) je bodem ve prospěch využívání vojenských robotů.

3. Válka je hrozivá zkušenost. I když vojáci přežijí, mnozí jsou zranění a tato zranění negativně ovlivňují jejich životy. Nemusí se jednat jen o přímé zranění způsobené nepřátelskou zbraní; vojáci bývají vystaveni vlivu škodlivých plynů, chemikálií, nemluvě o psychické újmě, kterou si často z bojiště odnášejí a která je důvodem utrpení nejen jejich, ale i jejich rodiny, blízkých a přátel. Státy také často mají velké problémy poskytnut veteránům válečných konfliktů odpovídající zdravotní péči a sociální podporu, což je zdrojem frustrace, sociálního napětí a nepochybně i formou nespravedlnosti. Jako v předchozím případě, i zde je etická rozvaha přímočará: pokud se díky vojenským robotům podaří tyto negativní faktory omezit, můžeme to chápat jako další bod ve prospěch jejich využívání. Prospěch z toho nebudou mít pouze vojáci, ale také jejich rodiny a blízcí, zdravotní systém, ale vlastně celá společnost.

Mohl bych zde zmínit další možné očekávání přínosy využívání vojenských robotů (např. ekologické), jako základní expozice možných utilitaristických důvodů ve prospěch jejich nasazování v reálných válečných konfliktech je to ale dostačující. Nyní se zaměřím na dva důležité argumenty, které utilitaristické nejsou. První z nich se opírá o povahu vztahu mezi společností a armádou, druhý o platnost revizionistického paradigmatu spravedlivé války. 

Moderní společnost je založená na dělbě moci a povinností. Lidé se – metaforicky řečeno – vzdali své absolutní svobody jednat čistě podle své libosti a svěřili se pod správu zákona a státu. Stát naši absolutní svobodu omezuje, ale podmínkou tohoto omezení je, že je to v konečném důsledku ve prospěch všem. Má absolutní svoboda totiž zahrnuje i svobodu ubližovat (pokud chci); pokud se jí vzdávám (a podléhám zákonům své země), je implicitní podmínkou to, že této svobody se vzdává každý. Nemohu ubližovat komu chci, ale současně ani druzí nemohou působit újmu mě. Má absolutní svoboda jakéhosi imaginární přirozeného stavu svobody a neomezenosti je tím limitována, je ale limitována přesně vymezeným způsobem, který prospívá mně i všem ostatním.

Stát se tak stává garantem ochrany mých práv a svobod a vytvořil si mechanismy této ochrany: vnitrostátní (policie a soudní systém) a navenek (armáda jako ochrana proti vnějším hrozbám). Legitimita (nejen armády) je založena právě na tom, že hraje důležitou roli ve společnosti, již jsme jí delegovali: ochranu proti agresi vnějšího (někdy i vnitřního) nepřítele. My jako společnost jsme armádě svěřili nějakou roli a práva, ale tento vztah není jednostranný.

Armáda plní důležitou roli a její legitimita je s touto rolí spojena: chrání nás před nepřáteli. Její povinností je se této role odpovídajícím způsobem zhostit, a to vždy ve vztahu k pověření, které od společnosti má (ochranu našich práv, svobod, společné formy života). My jako společnost od vojáků vyžadujeme hodně, v nejzazším případě ochotu riskovat vlastní životy, z toho ale pro nás plynou nějaké povinnosti.

Vezměme si příklad vojenské posádky bránící město napadené agresorem. Při obraně vojáci plní svou povinnost vůči společnosti, společnost by jim zase měla poskytnout nejlepší možnou výzbroj a vybavení, aby mohli bojovat efektivně a chránili se před újmou na zdraví a životech. Bylo by zjevně absurdní a nemorální, kdyby jim velitel odmítl vydat neprůstřelné vesty a kvalitní palné zbraně. Zdá se mi, že odsud můžeme formulovat obecný princip: pokud má společnost k dispozici prostředky X₁, …, X_n, a pokud prostředek X_n před-stavuje nejefektivnější prostředek boje a ochrany zdraví a života vojáků (v mezích ius in bello), máme povinnost vybavit vojáky prostředkem X_n. V řetězci těchto prostředků můžeme postupovat podle toho, jak vojáky vzdalují od bitevního pole a poskytují jim stále větší ochranu. Pokud existuje prostředek, který je „vzdálí zcela“ tím, že je plně nahradí, potom jako společnosti máme povinnost vojákům tento prostředek poskytnout. A jsou-li tímto nástrojem vojenští roboti (a neexistují-li silné důvody proti jejich využívání, viz další sekce), nejen že smíme, ale vlastně máme i povinnost vyplývající z kontraktuálního vztahu mezi námi a vojáky armádu plně autonomními vojenskými roboty vybavit a umožnit jejich využívání.

Druhý argument je sice situovaný do kontextu revizionistického paradigmatu spravedlivé války, ale lze ho chápat jako v tomto kontextu platnou variantu argumentu předchozího. Revizionistická teorie spravedlivé války vychází z etiky individuální sebeobrany, kde musíme rozlišovat dvě normativně odlišné situace: agresor útočí (a nemá právo zaútočit ani vést nějaké údery), obránce se brání (a má právo se bránit). Z této asymetrie (jeden nemá právo útočit, druhý má právo se bránit) také plyne, že obránce má právo volit co nejefektivnější formu sebeobrany (v mezích proporcionality), která ho ochrání před újmou na zdraví či dokonce životě. Je-li jeho život ohrožený, může použít pistoli, i když její použití vytváří asymetrii (útočník má nůž, který lze použít jen zblízka, pistoli je možné použít na dálku).

Něco podobného platí i v případě války. Představme si opět posádku bránící město proti útoku agresora. Mezi útočícími a bránícími vojáky existuje normativní asymetrie: první z nich nespravedlivě ohrožují zdraví a životy druhých, druzí se legitimně brání. Mají tedy právo na všechny prostředky, které jim poskytnou co nejefektivnější ochranu zdraví i života, a to i v případě, kdyby tím vznikla asymetrie. Mají-li útočníci jen pušky a obránci děla, obránci mají právo použít děla, i když je tím tento konflikt výrazně asymetrický a nakloněný v neprospěch útočníků. Obrana samozřejmě musí být v mezích pravidel ius in bello, například nutnosti: lze-li útok zastavit méně drastickým způsobem, který zvýší rizika pro posádku města, je třeba zvolit tento způsob. 

A opět můžeme uplatit stejnou úvahu: pokud existují prostředky X₁, ..., X_n, které poskytují bránícím vojákům ochranu před zraněním či smrtí, a je-li Xn prostředkem nejefektivnějším (v souladu s principy ius in bello), mají vojáci právo ho využít. A stejně jako v předchozím scénáři, jsou-li tímto nástrojem vojenští roboti, mají vojáci právo je využít a „poslat je bojovat namísto sebe“. Tyto dva argumenty se od sebe liší v tom, že první klade důraz na kontraktualistické povinnosti společnosti vůči armádě a jejím příslušníkům, ten druhý zase na individuální práva vojáků. V obou případech ale docházejí ke stejnému závěru: pokud plně autonomní letální vojenští roboti splňují podmínky ius in bello (a nemáme jiné silné důvody proti jejich využívání), je povinností společnosti armádu těmito stroji vybavit a individuálním právem každého vojáka nechat se těmito stroji v rámci možností zastoupit.

Argumenty proti využívání vojenských robotů

V této sekci představím dva dle mého soudu nejdůležitější argumenty proti využívání vojenských robotů. Další argumenty nechám stranou, protože je nepovažuji za tolik důležité. Odpůrci využívání vojenských robotů například tvrdí, že tyto stroje nebudou schopné dodržovat principy ius in bello, zvláště princip požadující rozlišování mezi legitimními a nelegitimními cíli. K tomuto argumenty podotknu dvě věci. Samozřejmě, pokud by vojenští roboti vůbec nebyli schopní dodržovat podmínky spravedlivého vedení války, je jejich nasazování ve válečných konfliktech vcelku triviálně vyloučeno z úvahy. Nicméně tak jednoznačné to být nemusí. Zvláště díky pokrokům v oblasti AI, strojového učení, rozpoznávání objektů apod. lze očekávat, že stroje zvládnou to samé, co lidé, zřejmě to zvládnou i lépe. V takovém případě je třeba neposuzovat možné selhání vojenského robota izolovaně, ale v celkovém kontextu. Musíme se jinými slovy ptát: pokud stroje někdy selhávají, vedou si celkově lépe než lidé, nebo hůře. A vedou-li si lépe, musíme jejich nasazení namísto lidí chápat jako morální pokrok. Proti využívání vojenských robotů se také často uvádí, že nad nimi není možné mít smysluplnou lidskou kontrolu. Není ale vždy jasné, v čem přesně by tato kontrola měla spočívat. A především, tento argument není vlastně platný jen v případě vojenských robotů. Plnou kontrolu nemáme ani nad tím, kam přesně dopadnou bomby shazované z letadel, koho zasáhne kulka z naší zbraně či kdy přesně vybuchne moderní inteligentní mina. Necháme-li stranou přehnané sci-fi scénáře o vojenských robotech, kteří se vymkli kontrole a likvidují vše kolem sebe, nesmíme mít nerealistická a od reality vojenských konfliktů vzdálená očekávání. Úplnou kontrolu lze získat velmi těžko, v praxi bude stačit, když vojenští roboti budou plnit své úkoly a budou v tom i dodržování principů spravedlivé války lepší než lidé (nad nimiž mimochodem také nemáme úplnou kontrolu). 

Zmíním zde ještě jeden argument proti nasazování vojenských robotů, který operuje s odpovědností za újmu. Když selže nějaký velitel či voják – a dopustí se třeba válečného zločinu –, existuje někdo, komu je smysluplné přisoudit morální odpovědnost. Nemusí být vždy jednoduché viníka identifikovat, nicméně snaha o jeho identifikaci je smysluplná, protože lidé jsou za své jednání odpovědní (nebo si to alespoň myslíme). Představme si ale, že nějaký vojenský robot špatně identifikuje cíl a zabije civilistu. Kdo ponese odpovědnost za jeho smrt? Tento argument operující pojmem odpovědnosti (či její nepřítomnosti) bývá často vznášený jako vážný argument proti využívání vojenských robotů, já si ale myslím, že tak vážný není. V některých případech nebude těžké určit, kdo nese odpovědnost. Daného robota například lze nasadit pouze za dobré viditelnosti, velitel ho však „poslat do boje“ v nevhodných světelných podmínkách; odpovědnost bude jeho. Ale musíme se smířit s tím, že někdy nenajdeme nikoho, kdo by odpovědnost nesl; robot prostě udělal chybu (jeho software není bezchybný) a neexistuje nikdo, kdo by za to byl zodpovědný. Může to znít paradoxně, ale až tak paradoxní to není. Například i u autonomních vozidel se uvažuje o tom, že za některé jeho volby nebude mít nikdo odpovědnost ve smyslu viny. Jedinou odpovědností bude tzv. odpovědnost objektivní za vzniklou škodu. Podobně to může být v případě vojenských robotů a zabitého civilisty: nemusí existovat nikdo, kdo by nesl subjektivní odpovědnost (vinu), ale je zde újma (smrt) a měl by být určený nějaký subjekt (armáda, stát), který poskytne kompenzaci.

Mnozí odpůrci vojenských robotů používají – dle mého soudu překvapivě – často argument opírající se o lidskou důstojnost. Může mít například následující podobu: vojáci jsou lidé a uvědomují si, že lidský život je cenný. Je jim také jasné, že rozhodnutí vzít někomu život je jedno z nejvážnějších rozhodnutí v jejich životě, stejně jako míru újmy, která je s jejich rozhodnutím spojena. Jsou to morální aktéři, mají svou morálku, ale i emoce a odpovědnost. Volba zabít není jednoduchá a vyžaduje nějakou míru reflexe a uvědomění, které vychází i z vlastního pochopení svého lidství, křehkosti a vážnosti smrti. Stroje nic z toho nemají, nejsou morální aktéři, nejsou schopní morální rozvahy, nemají emoce a nenesou za své jednání odpovědnost. Zatímco zabití nepřátelského vojáka jiným vojákem nemusí být (z výše uvedených důvodů) v rozporu s lidskou důstojností, zabití strojem s ní v rozporu je. A vzhledem k důležitosti lidské důstojnosti v našem sebepojetí a také v rovině hodnot a normativních úvah bychom neměli dopustit využívání nástrojů ničení, které svým jednáním lidskou důstojnost pošlapávají.

Jak jsem napsal, považuji argumenty využívající pojem důstojnosti za poněkud překvapivé a nepříliš přesvědčivé. V roce 2002 se před Výborem pro lidská práva OSN uzavřel pozoruhodný soudní proces, který započal o několik let dříve ve Francii. Jeho protagonistou byla lidská důstojnost a její porušování. V listopadu 1991 vydal starosta francouzského města Morsang-sur-Orge nařízení zakazující házení trpaslíky. Mělo se jednat o kratochvíli spočívající v házení „trpaslíky“, tedy lidmi trpícími diastrofickým dwarfismem, vrozenou poruchou enchondrální osifikace. Přesněji řečeno, oním „trpaslíkem“ byl M. Wackenheim, jehož měli účastníci soutěže házet na nafukovací matraci. Prazvláštní druh zábavy, nepochybně. Wackenheim ji však považoval za zdroj obživy, a tak se proti zákazu odvolal. V únoru 1992 mu dal Správní soud ve Versailles zapravdu a starostův zákaz zrušil. Spor tím však neskončil a doputoval ke Conseil d’État, nejvyššímu správnímu soudu Francie, jenž se postavil na stranu starosty rozhodnutí soudu nižší instance zrušil. 

Jaký měl ale starosta důvodu vstupovat do (nepříliš vkusné) lidové zábavy? Odpovědí je lidská důstojnost, přesněji řečeno, starostovo chápání lidské důstojnosti a podmínek jejího narušování. Domníval se, že házení „trpaslíky“ představuje porušení respektu k lidské důstojnosti. A Conseil d’État mu v tom dal plně zapravdu. Wackenheim se však nevzdával a odvolal se k Výboru pro lidská práva OSN. Jádrem jeho argumentace byla také lidská důstojnost. Uváděl, že soutěž v házení „trpaslíků“ žádným způsobem jeho důstojnost nepo-rušuje, starostův zákaz však ano, neboť mu brání v tom, aby si svobodně zvolil způsob výdělku. Argumenty však nenarazily na úrodnou půdu, a tak v červenci 2002 celá kauza dospěla ke konci. Důstojnost, jak ji chápal starosta Morsang-sur-Orge a soudci vyšších soudních instancí, zvítězila, důstojnost, jak ji vnímal a prožíval dotčený, jehož se zákaz a rozsudky bezprostředně týkaly, prohrála.

Tento zajímavý soudní proces velmi dobře ilustruje obtíže spojené s lidskou důstojností. Jedná se o pojem s nejasně definovaným obsahem. To ostatně dosvědčuje i jazyková praxe. Běžně hovoříme o důstojnosti jednání („choval se tam nedůstojně“), nebo o důstojnosti spojenou s nějakým úřadem („důstojnost ústavního soudce“). Jazykem lidské důstojnosti posuzujeme chování reprezentantů nějakých rolí qua reprezentantů těchto rolí („nechoval se tam důstojně jako prezident ČR“), ale také podmínky, když například říkáme, že někdo musel vyrůstat v nedůstojných podmínkách. V lidskoprávních dokumentech figuruje důstojnost vykládaná jako jakási inherentní vlastnost lidských bytostí, jež představuje základ lidských práv. Je možné v těchto příkladech využívání slova „důstojnost“ nalézt nějaké spojující prvky? Je „důstojnost“ analogickým pojmem, který má nějaký primární analogát a všechny ostatní významy čerpají svou určitost z něj?

Nepopírám, že existují snahy pojem důstojnosti „zachránit“ a dát mu jasný obsah. Tvrdím ale, že nemáme k dispozici dostatečně dobře propracované a odůvodněná mechanismy odvozování hodnotových a normativních závěrů z tohoto pojmu. Je „házení trpaslíky“ v rozporu s jejich důstojností? A ztráta obživy není? Ilustrativní je diskuse o eutanazii: oba tábory (zastánci i odpůrci) časti opracují s pojmem důstojnosti. Zastánci eutanazie hovoří o důstojné smrti, právu na důstojný odchod ze života, tvrdí, že limitovat autonomii pacientů zákazem eutanazie je v rozporu s jejich autonomií. A odpůrci eutanazie zase tvrdí, že důstojná smrt je smrt přirozená, v důstojném prostředí a případně s tišením bolesti, utrpení či úzkosti, a zabití pacientů lékařem označují za v rozporu s jejich důstojností.

Argumenty z důstojnosti lze navíc obrátit. Někdo může tvrdit, že když vojáka X zabije voják Y, může to být v souladu s důstojností X. Ale co když je Y v depresi, stresu, hnán touhou po pomstě? Dokážeme efektivně rozlišit důstojné zabití od nedůstojného? Možná bychom mohli říci, že podmínky důstojného zabití představují ideál, jemuž by měli vojáci dostát. Jenže to je v rozporu s jejich výcvikem, zvláště s různými formami dehumanizace oponenta, které mají uchránit psychiku vojáků a usnadnit jim plnit bojové úkoly. Možná se jedná o ideál, který vypadá dobře na papíře, ale vůbec neodpovídá realitě války. Kromě toho, zastánce využívání robotů se může ptát, zda není víc v rozporu s lidskou důstojností existovat po nějakou dobou v děsivých podmínkách, špíně, sledovat své přátelé a spolubojovníky, jak umírají a být nuceni zabíjet, často velmi brutálním způsobem. Vojenští roboti mohou znamenat, že v těchto podmínkách bude muset být méně vojáků, méně jich bude muset čelit stresu, ohrožení vlastního zdraví a života, nutnosti zabíjet a samozřejmě všem následkům, které si z toho přinesou. A je-li tomu tak, potom jsou body opět na straně vojenských robotů.

Poslední argument proti vojenským robotům spadají do oblasti ius ad bellum. Teorie spravedlivé války je realistická a vyhýbá se dvěma extrémům – pacifismu a realismu. Vychází z uvědomění, že války se bohužel vedly, vedou a povedou, snaží se ale nastavit podmínky tak, aby státy nevstupovaly do válek neuváženě a, když už ve válce jsou, aby minimalizovaly utrpení dodržováním podmínek vedení války. V souvislosti s vojenskými roboty bývají vznášeny dvě související námitky: povedou k novému závodu ve zbrojení a usnadní války (jejich počet vzroste).

Zvláště demokratické státy mají často velmi silné důvody nezačít válku: ve válce umírají jejich obyvatelé. Nejsou to ale abstraktní položky na seznamu ztrát, nýbrž konkrétní lidé, kteří mají své rodiny, přátelé a známé, kolegy a společenství, v nichž žijí své životy. Nevole lidé, neochota podstupovat rizika, přicházet o drahé a známé, bývá silným faktorem, které si státy musí dobře zvážit, než se rozhodnou vstoupit do války. A – například v případě US a dalších demokratických zemí – i faktorem, který může rozhodnout o ukončení války, která již probíhá. Představme si ale, že vojáci jsou výraznou měrou nahrazeni roboty. Ti nemají rodiny, blízké ani známé; jsou to jen stroje (i když i k nim lidé chovají silné vztahy). Faktor, který zcela zásadně ovlivňuje rozvahu, zda vstoupit do válečného konfliktu, by mohl být zcela či alespoň do dostatečné míry ze hry. Bude proto válek více? A pokud ano, neznamená to, že možné benefity spojené s využíváním vojenských robotů budou převáženy právě tím, že válek bude více?

Osobně tuto úvahu považuji za velmi důležitou a odpověď na obavu, již vznáší, ze sice realistickou, ale nepříliš uspokojivou. Jinými slovy, riziko zmnožení válečných konfliktů díky nahrazování vojáků roboty považuji za reálné (byť nedokážu říci, jak moc reálné je), existuje však na něj odpověď, která je sice přesvědčivá, ale z etického hlediska nepříliš uspokojivá. 

Řekněme, že všichni souhlasíme s tím, že nasazování vojenských robotů povede (kromě závodu ve zbrojení) k tomu, že vstup do války bude pro státy snazší; důsledkem bude více válek. A můžeme také předpokládat, že žádný stát to nepovažuje za dobrý výsledek; každý rozumný a morální stát si musí přát, aby válek bylo méně. Když se vžijeme do situace nějakého konkrétního státu, mohl by uvažovat následovně: ideální by bylo, kdy nikdo z nás vojenské roboty nevyvíjel a nepoužíval (ideální z pohledu frekvence válek). Neexistuje ale žádná garance, že žádný stát je vyvíjet a využívat nebude. Vojenští roboti nepochybně představují strategickou výhodu a nejhorší, co se mi může stát je stav světa, kdy já roboty nevyvíjím, ale ostatní (všichni či někteří) je vyvíjejí. Vzhledem k tomu je sice pro nás všechny nevýhodné roboty vyvíjet (protože to může znamenat více válek), nicméně nic jiného mi nezbývá. Situace „nikdo roboty nevyvíjí“ je ideálem, který ale neumíme zaručit. A situace „já je nevyvíjím, ale ostatní ano“ je pro mě katastrofální. Je proto třeba být realisty a roboty vyvíjet. A to i když si uvědomuji, že stejnou úvahou se budu řídit další státy a výsledkem budou závody ve zbrojení a častější války.

Netvrdím, že toto dilema dokazuje, že závody ve zbrojení a častější války jsou nevyhnutelné. Myslím si ale, že úvahy o rozumnosti vyvíjet či nevyvíjet vojenské roboty v situaci, kdy jejich zákaz nelze efektivně vynutit, jsou vcelku realistické a vrhají alespoň nějaké světlo na to, proč nelze očekávat, že by se nějaký stát tohoto vědeckotechnického vývoje vzdal. A jak jsem napsal, je to realistické (státy prostě roboty vyvíjet budou), je to individuálně rozumné (pro nějaký stát by byla katastrofa, kdyby se vývoje vojenských robotů vzdal, když jiné na nich pracují a chtějí je využívat), ale eticky nešťastné (vyplní-li se prognózy a využívání robotů frekvenci válek zvýší). Nic to ale nemění na platnosti argumentů ve prospěch vojenských robotů. Ideální by bylo, kdyby žádný stát neměl armádu a války vůbec nebyly. Realita je ale jiná; a některé války jsou spravedlivé a jiné nespravedlivé, některé metody vedení války jsou nesprávné a jiné v souladu s principy spravedlivé války. Podobně lze asi říci, že by bylo ideální, kdyby vojenští roboti neexistovali. Ale existují; a mají potenciál učinit vedení válek humánnějším. 

Literatura

Arkin, R. Governing Lethal Behavior in Autonomous Robots. Boca Raton, FL: CRC Press, 2009.
Bhuta, N., et al. (eds.). Autonomous Weapons Systems. Law, Ethics, Policy. Cambridge: Cambridge University Press, 2016.
Dobos. N. Ethics, Security, and the War-Machine. The True Cost of the Military. Oxford: Oxford University Press, 2020.
Galliott, J. Military Robots: Mapping the Moral Landscape. Surrey, UK: Ashgate, 2015.
Galliott, J., MacIntosh, D., Ohlin D. J. (eds.). Lethal Autonomous Weapons. Re-Examining the Law and Ethics of Robotic Warfare. New York: Oxford University Press, 2021.
Hammes, T. X.  The Sling and the Stone. In War in the 21th Century. St. Paul: Zenith Press, 2006.
Leveringhaus, A. Ethics and Autonomous Weapons. London: Palgrave Macmillan, 2016.
Lucas, G. Law, Ethics, and Emerging Military Technologies. New York: Routledge, 2023.
Petraeus, D., Roberts, A. Conflict. The Evolution of Warfare from 1945 to Gaza. London: William Collins, 2023.
Scharre, P. Army of None. Autonomous Weapons and the Future of War. New York and London: W. W. Norton & Company, 2018.
Singer, P. W. Wired for War. The Robotics Revolution and 21st Century Conflict. London: Penguin, 2009.

Report je ke stažení zde.

Trendy ve využívání výpočetních technologií

Pro identifikaci trendů v oblasti umělé inteligence budeme vycházet z trendů rozvoje výpočetních technologií od jejich počátků zhruba v polovině 20. století až po současnost. Přehledně jej zachycuje obr. 1. Zde vidíme, jak výpočetní síla počítačů průběžně exponenciálně rostla v souladu s Mooreovým zákonem a jak se měnily odpovídající výpočetní prostředky a paradigmata. 

Z hlediska této kapitoly je však zajímavější pohled na předchozí výpočetní technologie zachycující proměnu typu zpracovávaných dat, a jejich způsobu zpracování, v závislosti 

na nárůstu výpočetní síly, zachycený na obr. 2. Z obou obrázků je jasně vidět, jak s rozvojem informačních technologií a jejich aplikací rostla (a roste) jejich informační síla v rámci tzv. DIKW hierarchie: data, informace, znalosti, moudrost. Tato hierarchie zachycuje skutečnost, že v typickém případě je informace definovaná pomocí dat, znalosti pomocí informací, a moudrost pomocí znalostí.

Pojem DIKW hierarchie popularizoval v r. 1988 Russell Ackoff ve své prezidentské přímluvě k Mezinárodní společnosti pro systémové vědy. Nicméně, tato myšlenka se v různých podobách objevovala již dříve mezi odborníky zabývajícími se počítači, řízením a operačním výzkumem, a proto ji lze považovat za „lidovou moudrost“.  Tato hierarchie se často zobrazuje jako pyramida postavená na datech a s moudrostí
ve vrcholu. Tvar pyramidy zachycuje fakt, že moudrost je nejvyšší formou znalostí, které je možné dosáhnout pouze na základě dat, které se transformují postupně přes informace a znalosti až na moudrost. To je znázorněno na obr. 3. 

Není to vlastně nic jiného než hrubý nárys architektury systému pro zpracování dat. V jednotlivých obdélnících přilehlých k pyramidě je naznačeno, co je předmětem zpracování dat, ve směru zdola nahoru, na dané úrovni. Transformace dat mezi jednotlivými úrovněmi pyramidy se děje pomocí algoritmů, často velmi složitých (např. neuronové sítě, statistické výpočty, rozeznávání vzorů, identifikace trendů atp.), které závisí na požadovaném výsledku transformace a druhu dat vstupujícím a vystupujícím z procesu transformace. Přesněji, data vstupující do pyramidy mohou být čísla, texty, kódy, obrázky, výstupy různých senzorů, či jiná nevyhodnocená fakta. Zpracování na informační úrovni může zahrnovat statistické výpočty, rozeznávání vzorů, trendů apod. Ještě na vyšší úrovni znalostí jde o budování konceptů, odhalování zákonitostí a nacházení vztahů mezi různými skupinami informací. Konečně na úrovni moudrosti se hledají možnosti cílevědomé aplikace znalostí na nové situace.  Zde přicházejí k slovu např. neuronové sítě imitující naše představy o práci mozku.

Kvalitativní rozdíl mezi daty na dvou přilehlých úrovních představuje míru porozumění datům na nižší úrovni, vyjádřené prostředky vyšší úrovně, vždy vzhledem k poslání příslušného systému.  Je zřejmé, že taková míra porozumění roste ve směru zdola nahoru.

Uvedené schéma je velmi obecné, platí pro jakýkoliv systém umělé nebo přirozené inteligence, jenž generuje moudrost, bez ohledu na to, v jakém prostředí pracuje a jaké je jeho poslání. Platí to třeba pro automatické dveře, samo-řiditelné auto, autonomní systém řízení protiraketové obrany, pro systémy generativní umělé inteligence, pro mozek, dokonce i pro tzv. „superinteligenci“.  Na této úrovni abstrakce je schéma práce takových systému stejná. 

Podle Ackoffa, první tři úrovně hierarchie lze „programovat“ a tudíž automatizovat, kdežto poslední, čtvrtou úroveň, nikoliv, protože moudrost obsahuje i etické a morální aspekty, které nelze svázat žádnými jednotnými pravidly, protože závisí na rozhodnutích zájmových stran, které ovlivňují a realizují proces transformace dat, ale nikoliv produkt. 

„…usuzuji, že člověk nikdy nebude moci svěřit automatům úlohu systémů generujících moudrost. Může se klidně stát, že moudrost, která je nezbytná pro účinné hledáni   ideálů, a samotné jejich dosahování, jsou vlastnosti, které odlišují člověka od strojů.“

Pravdivost tohoto tvrzení velmi závisí na tom, co v kontextu umělé inteligence budeme považovat za moudrost. Existuje rozumná definice moudrosti, která se bude dát realizovat výpočetně, a tedy, svěřit strojům? Jak se díváme na Ackoffovo tvrzení ve světle současných trendů v rozvoji umělé inteligence?  To uvidíme v dalších částech.

Od dat k moudrosti

V dalším budeme uvažovat systémy umělé inteligence ve formě vtělených kognitivních agentů. Jsou to fyzické entity, které mohou nepřetržitě vnímat své okolí, učit se ze své zkušenosti, předvídat běh událostí, jednat účelně a eticky pro splnění svých cílů a přizpůsobovat se měnícím okolnostem.

Pokud chceme porozumět práci konkrétního agenta, tak nás zajímá, s jakými daty a informacemi agent pracuje, jaké znalosti využívá, a na co je určeno „moudro“, které generuje. Pro tento účel se ukazuje jako vhodné dívat se na schéma z obr. 3 z perspektivy tzv. znalostní teorie výpočtů, vyvinuté před několika lety autory této práce.  Tento pohled má tu výhodu, že přímo pracuje s pojmy užívanými v definici DKIW pyramidy, a tak jak postupuje transformace dat v této pyramidě, tyto pojmy vlastně výpočetně definuje. Z hlediska této teorie nahlížíme totiž na výpočty jako na výpočetní procesy, které generují znalosti a moudrost z informací nad danou znalostní doménou D pomocí dané znalostní teorie T. 

Znalostní doména je souhrn informací o objektech, faktech, procesech reálného světa, které jsou předmětem zájmu agenta. Prvky znalostní domény tvoří podmnožinu reálného světa. Informace ze znalostní domény jsou systému dodány z části zvenčí a zčásti je získává ze svých vstupních dat, které načítají příslušné senzory. Načtením dat daným senzorem se data stávají informacemi takového typu, pro jaký je senzor určen. Tento typ dat musí souhlasit s typem informací, které tvoří znalostní doménu.  

Výpočet dále pracuje tak, že kombinuje prvky znalostní domény – jimiž jsou již zmíněná informace (resp. jejich reprezentace), nazývané také elementární znalosti do odvozených, často složitějších konstrukcí, které již tvoří novou znalost, opět nad danou doménou a v rámci teorie T.  Tato fáze zpracování odpovídá třetí úrovni DIKW pyramidy. 

Pro kombinaci prvků této úrovně používá výpočet množinu (odvozovacích) pravidel, která může být předem daná v rámci teorie T, anebo se může tvořit pomocí učení během velkého počtu různých výpočtů nad danou doménou.

Systém tímto způsobem pracuje s více či méně formální teorii T, která zachycuje vlastnosti dané znalostní domény a způsoby odvozování nových znalostí, stále v rámci dané domény. Jakmile tedy systém načte nějaká data, tyto se stávají v rámci teorie T informací. Z nich systém shora popsaným způsobem generuje znalosti; některé z nich se jsou dále využívány na čtvrté úrovni pyramidy v rámci systému generování moudrého jednání (viz dále). Na této úrovni totiž vstupuje do hry, kromě transformace dat, další schopnost systémů umělé inteligence – a tím je jednání. V tomto smyslu je jednání cílená činnost systému směřující k naplnění jeho cílů, resp. poslání, pro které je systém zkonstruován, anebo se evolučně vyvinul.

Z hlediska znalostní teorie výpočtu považujeme za okolí systému (či agenta) tu část světa, kterou popisuje znalostní doména D. Řídícím systémem agenta je znalostní teorie T. Jaké jednání je považováno za účelné je definováno ve specifikaci poslání agenta. Specifikace poslání pro každou situaci určuje, jakou podmínku musí chování agenta dodržet, v závislosti na historii jeho předchozího jednání. 

Proto je důležité si uvědomit, že specifikace poslání se nerovnají funkční specifikaci systému. Ty první určují, co má systém dělat, kdežto ty druhé, jak to má dělat. 

Někteří agenti mohou mít speciální schopnost pro svoji činnost generovat a využívat speciální druh znalostí – (umělou) moudrost (Wiedermann & van Leeuwen, 2023). Moudrost se projevuje v jednání (chování) agentů, které za každých okolností naplňuje poslání systému. 

Umělá moudrost agenta je jeho schopnost aplikovat své znalosti na jednání směřující za každých okolností k cílevědomému vytváření pragmatických hodnot, které je předepsáno v jeho specifikaci poslání, za současného dodržování etických hodnot.

Teď je jasné, proč se znalosti a moudrost nenacházejí na stejné úrovni v rámci DIKW hierarchie. Je tomu tak proto, že znalost je z pohledu znalostní teorie výpočtů výsledkem transformace dat a informací, tj. v podstatě je výsledkem jakéhokoliv výpočtu. Naproti tomu moudrost přináší do výpočtů specifickou formu zpracování znalostí nepřetržité cílevědomé a efektivní jednání (angl. agency) prostřednictvím synergetického efektu znalostí, kognice a jednání. Znalosti jako takové, samotné, představují pasivní formu znalostí, kdežto moudrost představuje jejich akční formu. Moudrost bez znalostí nemůže existovat.

Schopnost generovat umělou moudrost posouvá možnosti systémů umělé inteligence na kvalitativně vyšší úroveň v porovnání se systémy, které takovou schopnost nemají. 

Tato schopnost agenta musí být popsaná v jeho znalostní teorii. Etika, resp. etické jednání může být popsané jako součást znalostní teorie anebo jako samostatná znalostní teorie.  Moudrý agent tedy zaručeně za každých okolností vytváří pragmatické i etické hodnoty, specifikované v jeho poslání.  

Formálně definovaná umělá moudrost umožňuje hovořit o moudrosti extrémně jednoduchých kognitivních systémů, jakým jsou např. automatické otvírané dveře. Jsou moudré, protože jednají tím způsobem, že otevřou dveře (vykonáním akce vytvoří pragmatickou hodnotu pro procházející osobu), kdykoliv rozeznají takovou potřebu (kognitivní schopnost), a chovají se eticky (pokud jsou zkonstruovány tak, že nikoho nepřivřou, a nic jiné se od nich nepožaduje. Složitější systém, jako třeba autonomní vozidlo, je také moudrý, protože (a pokud) pomocí kombinovaného efektu využití svých senzorů a motorů vytvoří pragmatickou a etickou hodnotu – doveze svého uživatele bezpečně k cíli.

V definici hierarchie DIKW se moudrost nachází v jejím vrcholu, což naznačuje, že nějaká „vyšší forma“ vědění neexistuje. Dokonce i tzv. „superinteligence“ je forma moudrosti.  Moudrost se tak jeví jako ultimativní cíl umělé inteligence. Zde je na místě poznamenat, že takový cíl nelze dosáhnout v konečném čase. To dokazuje např. matematika, ve které existují nekonečné hierarchie různých znalostních teorií. 

Definice umělé moudrosti je tedy ukotvená ve znalostní teorii výpočtů. To má důležité důsledek pro naše úvahy ze sekce 2, kde jsme korelovali pozorovaný nárůst „informační síly“ jednak jako vývojový trend v oblasti výpočetní technologie, a také jako proces charakterizující čtyři úrovně DIKW pyramidy (data, informace, znalosti, moudrost). Teď jsme ukázali, že všechny tyto úrovně jsou dosažitelná pomocí výpočtů.

Tento postřeh má dalekosáhlé důsledky. V následující části se podíváme na systémy umělé inteligence s potenciálem generovat umělou moudrost.

Velké jazykové modely: inteligence bez kognice

Existují již v současné době systémy umělé inteligence, které generují umělou modrost? Zatím ne, ale jistou představu o tom, jak by mohly systémy generující moudrost v budoucnosti vypadat, nám dávají současné velké jazykové modely jakými jsou model GPT fy OpenAI, PaLM modely fy Google, LLaMa modely fy Meta, apod.  Tyto modely jsou součástí tzv. generativní umělé inteligence, která se učí vzory a struktury z příkladů, jak byla používaná minulá data. Tyto znalosti pak využívá pro interaktivní generování nových obsahů podobné kvality, jakou měly učící data, za účelem asistování uživatelům v jejich činnostech.

Z formálního hlediska, znalostní doménou velkých jazykových modelů je přirozený jazyk (či jazyky), znalostní teorie systému je implicitní model světa, popsaný v daném jazyce, jenž si systém buduje během své učící fáze, a etická teorie je libovolná znalostní teorie, která definuje jednání kompatibilní s představami strůjců systému. 

Ukážeme, že tyto modely mají potenciál generovat umělou moudrost (Wiedermann & van Leeuwen, 2023). Toto tvrdíme i přesto, že je známé, že tyto modely jsou velmi křehké (náchylné ke katastrofickým selháním), nespolehlivé (schopné dodat nesprávnou anebo vymyšlenou informaci), příležitostně schopné dělat elementární logické chyby v uvažování anebo v jednoduchých počtech. Náš argument ve prospěch tohoto tvrzení vychází z paradigmatu málo užívaného v oblasti umělé inteligence, kybernetiky anebo robotiky, ale o to známějšího v kognitivních vědách: paradigma 4E kognice (Newen, De Bruin,  Gallagher, 2018). Toto paradigma postuluje, že kognice není pouhým vnitřním, individuálním procesem, nýbrž se jedná o emergentní proces, jež vzniká interakcí mezi mozkem, tělem, okolím a sociálním kontextem. Zkratka 4E pochází z angličtiny a naznačuje, že kognice je vtělená, vnořená, vykonávaná, a rozšířená (embodied, embedded, enacted, extended) pomocí mimo-mozkových procesů a struktur.

Vtělenost znamená, že kognice je ukotvená v našich smyslech, tělech a fyzikální zkušenosti. Vnořenost hovoří o tom, že kognice je součástí našeho způsobu života. Vykonatelnost konstatuje, že kognice slouží cílevědomé akci v reálném světě. A konečně rozšířenost vidí kognitivní systém jako celek zahrnující i prostředí včetně dalších lidí, nástrojů a zařízení.

Zastánci 4E kognice argumentují, že shora uvedené čtyři atributy mají vztah k inteligenci systémů, které splnění příslušných atributů vykazují. Atributy 4E kognice nelze přímo aplikovat na velké jazykové systémy, už jenom proto, že tyto nemají tělo, smysly, anebo efektory.  Nicméně, ve všech čtyřech případech atributů 4E kognice můžeme v kontextu takových systémů hovořit o nepřímé vtělenosti, nepřímé vnořenosti, nepřímé vykonatelnosti, a nepřímé rozšířenosti. Vlastnost „nepřímosti“ pramení z toho, že velké jazykové modely nemají kognitivní aparát, který by jim umožnil přímou interakci s prostředím. Jak jsme však zmínili výše, jejich znalostní teorie obsahuje implicitní model světa, který si systém extrahoval z popisů světa a jeho vlastností jakoby „z druhé ruky“, zprostředkovanými lidmi v písemných podkladech, ze kterých se model učil.  Všimněme si, že v takovém případě jazykové modely nevnímají svět „tak, jak vypadá“, tj. tak, jako ho vnímáme my lidé, ale pouze (neboli přesně) tak, jak se o něm, včetně o umělé inteligenci, píše.

Nepřímá vtělenost, nepřímá vnořenost, nepřímá vykonatelnost, a nepřímá rozšiřitelnost jsou zcela odlišné atributy než ty, uvažované v klasickém případě 4E kognice. Avšak i tak můžeme v takovém případě usuzovat z jednání systému přinejmenším na jakousi iluzorní inteligenci, která nabízí iluzi inteligence vzhledem k danému prostředí, založenou na masivní agregaci dat z tohoto prostředí a výběru reakcí, jež závisejí
na současném i minulém kontextu jednání systému. V každém případě jde o jednání odtržené od reálné, bezprostřední kognice. (Mimochodem –  tak jednají i lidé, pokud dospějí k rozhodnutí na základě „přemýšlení“.) Iluzorní inteligence je v mnoha případech lepší než žádná inteligence. Otázkou zůstává, jestli součástí takové iluzorní inteligence je i nějaká forma vědomí.  Iluzorní vědomí? Úvahy, jestli velké jazykové modely mohou mít vědomí se začínají objevovat v pracích odborníků z oblasti filosofie i umělé inteligence.

Je třeba si uvědomit, že text, který velký jazykový model vygeneruje, je vlastně „umělá moudrost“. Sémantika textu, který model vygeneruje, představuje ony požadované pragmatické, resp. etické hodnoty, a posléze samotný výpočetní akt konstrukce odpovědi odpovídá (resp. měl by odpovídat) „cílevědomému používání znalostí modelu“. „Cílevědomé jednání“ je řízeno dotazem –  model generuje text, který nejlépe souzní s odpovědí na daný dotaz.

V reakci na iluzorní inteligenci velkých jazykových modelů můžeme tedy hovořit o iluzorní moudrosti takových systémů. Iluzorní inteligence velkých jazykových modelů současně vysvětluje jejich náchylnost ke katastrofickým selháním, kdy vygenerují vymyšlené informace nebo dělají elementární logické chyby v uvažování. Je tomu tak proto, že odvozovací mechanizmus těchto systému je založen na statistice, nikoliv logice. Systém nemůže v každém případě generovat „pravdivé odpovědi“, protože nemá přístup k vnějšímu světu ani k jiným nezávislým zdrojům za účelem ověřování faktů.  Systém může generovat pouze taková fakta, která nejsou ve sporu s jeho naučenými trénovacími daty. Zatím není jasné, jestli je toto tzv. „kecání“ velkých jazykových modelů jejich vlastností, kterou dokážeme pouze minimalizovat, avšak nikoliv zcela odstranit. 

Umění se zeptat: jak dostat moudré odpovědi z velkých jazykových modelů

Jakou moudrost můžeme, alespoň v principu, dostat z velkých jazykových modelů? Odpověď na to je vlastně skrytá již v jejich názvu. Proč se velké jazykové modely jmenují tak, jak se jmenují? Čeho jsou to modely? Z předchozí sekce víme, že tyto obrovské modely jsou vlastně implicitní modely našeho světa, zachycené v přirozeném jazyce. Jsou trénované na gigantických množstvích textových dat, které obsahují informace o našem světě – fakta, informace, různé vzory, jazykové struktury a znalosti, a také vztahy mezi nimi. To jim pak umožní získat vědomosti, a dokonce (umělou) moudrost o vnějším světě a generovat text konzistentní s tím, co o něm vědí.

Uživatelé, tj. my – lidé, získáváme z nich tyto vědomosti pomocí dotazů, tzv. promptů. Je jisté, že čím přesnější dotaz, čím lépe formulovaný požadavek, tím přesnější a výstižnější odpověď systému můžeme očekávat. Abychom takové dotazy efektivně formulovali je dobré vědět, alespoň v hrubých rysech, jak velké jazykové modely fungují. To nám umožní při sestavování dotazů vycházet vstříc potřebám modelu a umožnit tak jeho efektivní odpovídání na dotazy. Za tím účelem uvedeme velmi zjednodušené vysvětlení jejich činnosti na vysoké úrovni, oproštěné od méně podstatných detailů.

Základní datová strukturu, nad kterou modely pracují, je obrovská síť. V jejích uzlech jsou uloženy informace o slovech a větách. Spojení mezi uzly reprezentují vztahy mezi uzly, které se budují pomocí učení. Na tuto síť můžeme pohlížet jako na analogii mozku: uzly jsou mozkové buňky – neurony, propojení mezi nimi odpovídají synapsím. V technických termínech se jedná o umělou neuronovou síť.

Neuronová síť se učí prostřednictvím čtení textů z internetu. Vztahy mezi slovy a větami jsou vyjádřeny pomocí spojení mezi uzly. Každému spojení je přiřazena jeho váha. Váhy jsou vektory, které charakterizují sémantické vlastnosti vztahů: reprezentují jejich sílu, druh a vlastnosti; budují se a modifikují v průběhu učení. Je to proces absorpce veškerých znalostí a moudra z knih a webových stránek.

Když už je neuronová síť naučená, může být systém požádán o odpověď na daný prompt. Systém generuje odpověď slovo za slovem, jedno po druhém. Generace každého dalšího slova závisí na celém promptu, a na částečné odpovědi, kterou systém do té doby vygeneroval, a samozřejmě i na tom, co se model naučil ze svých trénovacích dat. Za tím účelem model obsahuje veledůležitý mechanismus, který je srdcem jeho „inteligence“: mechanizmus pozornosti.

Tento mechanizmus slouží modelu pro výběr, predikci, soustředění se na slovo, které bude model jako další generovat. Jde o to, aby se vybralo takové další slovo, které přispěje k „správné“ odpovědi, která by z hlediska znalosti uložených v síti co možná nejlépe reagovala na daný prompt. Přitom se vynechají slova, která jsou pro tento účel nepodstatná. (Tato ostatní slova však mohou být důležitá z hlediska formulace gramaticky správné odpovědi.)

Mechanismus pozornosti je také realizován pomocí neuronové sítě. Pro svoji činnost využívá váhy mezi spojeními uzlů, které vyjadřují sílu (míru pravděpodobnosti výskytu) vztahu mezi slovy promptu a slovy částečné odpovědi. Mechanismus pozornosti pak vybere slovo, které se s velkou pravděpodobností „hodí“ k prodloužení již generované částečné odpovědi a také ke slovům z promptu.  Tím se zabezpečí, že systém generuje sémanticky nejlépe odpovídající a gramaticky korektní odpověď.

Systém současně monitoruje celý proces sledováním míry podobnosti (opět pomocí vah) mezi promptem a doposud generovanou odpovědí. Začne-li tato míra klesat, systém „ví“, že negeneruje relevantní odpověď a vyzve pozornostní mechanizmus, aby zaměřil pozornost na jiné části promptu. Tento proces monitorování míry podobnosti a využívání pozornostního mechanismu se opakuje do té doby, než je vygenerovaná kompletní a smysluplná odpovídající odpověď.

Monitorování míry podobnosti a využívání pozornostního mechanismu je zásadní inovace, která stojí v pozadí úspěchu současné generativní umělé inteligence. Toho si nejsou vědomi ani někteří odborníci na IT, kteří se domnívají, že model má přístup ke všem trénovacím datům, ze kterých se učil, a může je použít k vyhledávání relevantních informací v obrovské databázi. Tak to samozřejmě není, velký jazykový systém pracuje s naučeným modelem znalostí o trénovacích datech a odhalenými vztahy mezi nimi. Jazykový model je daleko menší než jeho trénovací data. Na dotazy odpovídá konstrukcí zcela nových odpovědí.

Právě popsaný princip práce velkých jazykových systémů je známý už řadu let a lze jej považovat za výsledek matematické a inženýrské invence.  Avšak skutečnost, že začíná skvěle fungovat až „ve velkém“, na úrovni masivních dat a s nasazením obrovské výpočetní síly, považují někteří experti na umělou inteligenci doslova za vědecký objev. 

Z právě popsaného principu fungování takových modelů je zřejmé, že uživatel může ovlivňovat kvalitu jeho odpovědí jediným způsobem – a tím je formulace promptu. Proces zpřesňování formulace promptu za účelem získání co nejvýstižnější odpovědi se v angličtině jmenuje „prompt engineering“, což se dá přeložit jako „konstrukce nápovědy“, anebo jednoduše „nápověda“.

Účelem nápovědy je dodat modelu – přesněji jeho pozornostnímu mechanismu – výstižné a stručné výrazivo, jež umožní modelu lepší porozumění promptu a generování srozumitelné odpovědi. Jazyk promptu proto budiž jednoznačný a střízlivý pro dosažení objektivní reakce. Často pomůže, zmíníme-li v dotazu pojmy, o kterých předpokládáme, že by se mohly vyskytovat v odpovědi. Intuice, emoce a subjektivní zkušenost jsou další záležitosti, které můžeme uvést, pokud jsou to pro získání odpovědi relevantní faktory. V rámci promptu můžeme zmínit i etická dilemata, které bychom chtěli v kontextu promptu vyřešit, sociální aspekty apod. – zkrátka veškeré okolnosti, kterým by model v rámci své umělé moudrosti možná nemusel věnovat pozornost. To způsobí, že model se při konstrukci odpovědi soustředí i na tyto aspekty. Také je dobré specifikovat formát, formu a styl odpovědi – seznam zarážek, tabulka, úvaha, zdvořilá žádost, populární nebo odborný text, alternativy apod.

Nejlepší způsob, jak se naučit formulovat účinné prompty pro dosažení přesných a relevantních odpovědí, je nebát se experimentovat s jejich různou podobou.

V případě velkých jazykových modelů platí pro určité typy dotazů, že v dobře formulované otázce se často skrývá návod na její odpověď.

Poslední dobrá rada je položit stejnou otázku různým modelům se stejným obsahovým zaměřením. Je překvapivé, jak se mohou odpovědi lišit z hlediska jejich relevantnosti a srozumitelnosti, anebo do jaké míry se mohou shodovat.

Můžeme umělé inteligenci důvěřovat?

Co když nás umělá inteligence oklame, cíleně, kdyby byla za tímto účelem zkonstruovaná, anebo „nechtěně“, kdyby byla chyba v její konstrukci?   V tom druhém případě hovoříme o nechtěných vedlejších efektech. To, samozřejmě, může napáchat velké škody. Někteří lidé – a často i odborníci na umělou inteligenci – dokonce varují, že neřízený rozvoj umělé inteligence může existenčně ohrozit přežití lidské civilizace. Je to pravda? Na jakých argumentech jsou taková tvrzení založena?

Skutečnost je totiž taková, že neexistuje efektivní postup (algoritmus), jež by pro jakýkoliv systém umělé inteligence rozhodnul, buď empiricky, na základě testování jeho chování, anebo teoreticky, na základě znalosti jeho popisu, zda bude za každých okolností bezpečný – v souladu s „lidskými hodnotami“.  

Mezi takové hodnoty počítáme i nemožnost ohrožení našeho přežití. Důvod v prvním případě je banální – inteligentní systém v případě jeho testování by totiž mohl předstírat, že je „hodný chlapec“, ale potom by se už choval, jak se mu zlíbí. Ve druhém případě je důkaz shora uvedeného tvrzení hluboký poznatek z teorie vyčíslitelnosti, jehož idea pochází od samotného A.M. Turinga, „vynálezce“ moderních počítačů a vizionáře umělé inteligence.

To na první pohled vypadá beznadějně, a proto se zdá být rozumné, nepouštět se do konstrukce takových systémů.  Podívejme se však na předchozí tvrzení podrobněji.

Toto tvrzení totiž neříká vůbec nic o tom, že pro libovolně daný systém umělé inteligence nemůže existovat důkaz, že systém bude za každých okolností bezpečný. Jinými slovy, může se klidně stát, že pro daný systém existuje důkaz, že je důvěryhodný, avšak tento důkaz bude „fungovat“ jen pro tento jeden systém. Jestli takový důkaz nalezneme záleží, kromě naší inteligence, na složitosti daného systému. Např. pro již zmiňované automatické dveře je to zřejmě možné, pro samořídící vozidlo pravděpodobně také.  Ale co se složitějšími systémy, jakými jsou např. velké jazykové systémy, o super-inteligentních systémech ani nemluvě?

Zde se nám totiž staví do cesty další překážka, a tou je neprůhlednost takových systémů. Vzhledem k tomu že takové systémy se budují pomocí učení, což je stochastický, evoluční proces, my ani nevíme, proč přesně takové systémy v konkrétních případech fungují. Jsou to pro nás „černé skříňky“. Vzhledem k astronomickému počtu situací, ve kterých mají takové systémy fungovat, není možné specifikovat jejich chování za všech okolností, které se mohou vyskytnout.  Tím pádem ani není možné předepsat, jak se mají chovat za všech okolností. Toto opět vypadá jako ultimativní argument proti vývoji obecných systémů umělé inteligence (AGI), anebo super-inteligentních systémů.

Beznadějnost úkolu „zkrotit“ umělou inteligenci vypadá jako očividná ještě i z následujícího uhlu pohledu. My – lidé, vládnoucí jistou inteligencí, jsme postaveni před úkol, najít mechanismus, jenž by zabránil, za každých okolností, daleko vyšším inteligencím vymknout se naším zájmům. Je to vůbec principiálně možné, aby „nižší inteligence“ v tomto smyslu usměrňovala, jaksi na dálku, do budoucna, chování „vyšší inteligence“?  Známe v přírodě podobný případ?

Podle Ilyu Sutskevera, šéfa výzkumu fy OpenAI, jsou takovým případem děti-nemluvňata. Jejich rodiče, daleko inteligentnější entity než nemluvňata, se starají velmi intenzivně o své potomstvo. Takže to nějak jde, vštípit, imprintovat tuto povinnost, starat se o blaho nižší inteligence, do fungování inteligence vyšší. Naše neschopnost odhalení mechanismu, jenž je za takovým chováním, je obrovskou překážkou na cestě k všeobecné umělé inteligenci.

Pro uklidnění obav z existenčního ohrožení lidstva umělou inteligencí je potřebné si uvědomit, že současná umělá inteligence je tomu, aby nás existenčně ohrozila, na hony vzdálená. Jednoduše to nejde, protože může maximálně ovládnout mysl některých důvěřivých lidí, ale žádné zkázonosné stroje. Sama nekoná ani o ničem nerozhoduje. Namísto obav z umělé inteligence je nutné napřít naše osvětové úsilí na vysvětlování skutečných benefitů umělé inteligence, ve vztahu k našemu blahobytu, a informovat pravdivě o výzkumném úsilí v oblasti umělé inteligence orientovaném na řešení problému souladu umělé inteligence s lidskými zájmy. Je celkem možné, že jednou, v budoucnosti, takový úkol nám pomohou vyřešit samotné systémy umělé inteligence. To je další důvod pro výzkum, vývoj a používání takových systémů. 

Jak to všechno dopadlo?

Vraťme se nyní k naším dvěma motivačním otázkám ze začátku reportu. Zvážením naších předchozích výsledků a úvah jsme dospěli k době zdůvodněným odpovědím, jaké jsme slibovali v jeho počátku:

Umělou inteligenci rozvíjíme za účelem tvoření a rozvíjení nástrojů pro generování umělé moudrosti.

Účelem používání umělé inteligence je generovat moudrá rozhodnutí a moudré chování pomocí vzájemné spolupráce mezi lidmi a automatickými prostředky.

Dobrovolně se vzdát takových nástrojů by bylo nerozumné. Je třeba hledat cesty, jak takové nástroje rozvíjet, s nimi nažívat a jak je bezpečně používat. Jedno řešení je nasnadě: spolupráce lidí s takovými systémy. Řešit problémy společně, ve vzájemné dohodě. Nedovolit jedné straně činit zásadní rozhodnutí bez konzultace s druhou stranou.  Dávkovat rozvoj takových systémů jako v moderní teorii etapovitého kognitivního vývoje, která pojednává o povaze a rozvoji lidské inteligence postupným rozšiřováním znalostních domén. Nevyvíjet další, „vyšší“ verze moudrých systémů, pokud nebude jasné, že stávající verze jsou v souladu s našimi hodnotami.  Ideu takové spolupráce dobře vystihuje rodičovská metafora: vztah lidí k umělé inteligenci by měl být jako vztah mezi rodiči a jejich dětmi: když jsou děti malé, starají se o ně, a vychovávají je rodiče; když jsou děti dospělé a rodiče staří, pečují o ně, a ctí je jejich potomci 

Tímto způsobem se stane lidská a umělá inteligence neporazitelnou dvojicí, která umožní formování naší budoucnosti podle našich představ. 

Je nutné si uvědomit, že na moudrost generovanou v rámci spolupráce mezi lidmi a umělou inteligencí musíme uplatňovat stejná kritéria jako na umělou moudrost z části 3: totiž aplikovat veškeré znalosti na jednání směřující k cílevědomému vytváření pragmatických hodnost pro kultivaci naší společné budoucnosti, za současného dodržování etických hodnot.

Z filozofického hlediska a z pohledu metodologie, umělá moudrost představuje kvalitativní posun ve výpočetním paradigmatu používaném v umělé inteligenci, a sice od pohledu na výpočty jako procesy generující znalosti směrem k procesům generujícím a využívajícím moudrost. Koncept umělé moudrosti, vedle lidské moudrosti, se stává novou, a pravděpodobně finální metou lidského snažení.

Rozhodnout se pro vývoj a používaní nástrojů umělé inteligence pro generování umělé moudrosti vyžaduje kuráž, moudrost, znalost problematiky a víru ve schopnosti lidí ve spolupráci s umělou inteligencí. 

Právě uvedené tvrzení neznamená, že se vzdáme regulace vývoje v oblasti AI, tak jak navrhuje Rada EU, která přijala společný postoj – Akt o umělé inteligenci. Jeho cílem je zajistit, aby systémy umělé inteligence, které budou uváděny na trh EU a používány v EU, byly bezpečné a byly v souladu se stávajícími právními předpisy o základních právech a hodnotách EU. Podobné iniciativy existují v USA i jinde. V rámci takových regulací je společný rozvoj inteligentních systémů velkou výzvou, avšak její přínosy budou stát za to. Budou znamenat obrovský, v lidské historii nikdy předtím nevídaný pokrok, srovnatelný s ovládnutím ohně a svým dopadem překonávající průmyslovou revoluci. Moudré systémy umožní lépe a odpovědněji posuzovat vývoj v různých oblastech života lidí, politiky, geopolitiky, dělat lepší rozhodnutí, pomáhat při řešení globálních a jiných praktických problémů a v konečném důsledku žít smysluplnější životy. Stanou se onou zdviží, zmiňovanou v názvu kapitoly, do naší budoucnosti. Znalostní společnost se transformuje na moudrou společnost, societas sapientiae, kterou charakterizuje cílevědomé využívání moudrosti.

Umělá moudrost bude současně představovat společně s přirozenou moudrostí trvalý a smysluplný odkaz naším současníkům i potomkům a bude zvyšovat pravděpodobnost a kvalitu našeho a jejich přežití v proměnlivých budoucích časech a neznámých místech ve Vesmíru.

A jaká je odpověď na Ackoffovu predikci ze závěru 2. sekce ohledně automatů generujících moudrost?  Pokud se pod pojmem moudrosti myslí striktně moudrost lidského typu, tak možná má Ackoff pravdu: stroje samotné pravděpodobně nikdy nebudou mít vlastnosti empatie, intuice anebo vědomé zkušenosti, jaké mají lidé. Naše úvahy však naznačují, že umělá moudrost, vzhledem ke své univerzálnosti a šíři problémového prostoru, který má umělá moudrost potenciál pokrýt, bude lidskou moudrost ve většině oblastí předčit. Ale již zmiňovaný pár lidské a umělé moudrosti společně odpovídá naší představě o ideální moudrosti jako prostředku pro formování a naplňování našich ideálů. Taková vize moudrosti posouvá známý Aristotelův výrok „Všichni lidé od přirozenosti touží po vědění“ do ještě vyšší roviny: „Všichni lidé od přirozenosti touží po moudrosti“.

Závěr

Systémy umělé inteligence generující moudrost jsou fundamentálně nové objekty, s jakými se lidstvo doposud nesetkalo. Jejich příchod znamená milník v historii lidstva, protože přináší novou a bezprecedentní formu inteligence, jež bude současně umělá a moudrá a bude komplementární a současně alternativní k naší přirozené inteligenci. Budou daleko lépe rozumět objektivnímu světu prostřednictvím většího množství jejich „smyslů“, než mají lidé, budou se rychleji učit, budou kreativnější. Tyto systémy budou uvažovat a argumentovat podobně jako lidé, avšak vzhledem ke svým zmnoženým kognitivním schopnostem přesahujícím schopnosti lidské se budou opírat o data, informace, znalosti a moudrost, které nebudou nikdy přístupná lidem bez těchto technologií. Doslova se stanou studnicí veškeré moudrosti, kamenem mudrců a svatým grálem lidstva. 

Tento splněný sen lidstva však bude mít své stinné stránky.

Pokud se nám nepodaří uspokojivě vyřešit problém souladu systémů generujících moudrost s lidskými hodnotami, bez jejich spolupráce s námi ztratíme své dominantní postavení mezi inteligentními entitami. Budeme konfrontování s Faustovým dilematem – potenciálním kompromisem mezi dobrodiním umělé moudrosti a nebezpečím spojeným s jejím vývojem a používáním. To může znamenat naše existenční ohrožení.  

Kterou cestu si zvolíme? Jak se rozhodneme? 

A jsme vůbec připraveni se rozhodnout?

Literatura

Ackoff, R.L., From Data to Wisdom - Presidential Address to ISGSR, June 1988, J. Applied Systems Analysis 18 (1989), s. 3-9.
Newen, A., De Bruin, L., Gallagher, S. (eds). The Oxford Handbook of 4E Cognition, Oxford Library of Psychology (2018; online edition, Oxford Academic, 9 Oct. 2018).
Wiedermann, J., van Leeuwen, J., From Knowledge to Wisdom: The Power of Large Language Models in AI. Technical Report UU-PCS-2023-01, červenec 2023.

---

Původně vyšlo v Proč se nebát umělé inteligence. Jota, Praha 2024. Autoři knihy Proč se nebát umělé inteligence? nabízejí střízlivý a odborně podložený pohled na současný stav a perspektivy umělé inteligence (AI). Čtenář se ve srozumitelné podobě dozví, na jakých technologických základech AI stojí, jaká je její historie a jak probíhá zpracování přirozené řeči ve velkých jazykových modelech. Kniha rovněž ukazuje, jak aplikace AI už dnes slouží v průmyslu, zdravotnictví, robotice či v oblasti kybernetické bezpečnosti a jak konkrétně je možné AI využít například ve státní správě či ve službách. Řada příspěvků je věnována filozofickým úvahám o roli a možnostech umělých strojů, etice a právu při jejich využívání.

Report je ke stažení zde.

Kognitivní a morální vylepšování

Na tuto morální prekérii je možné reagovat přinejmenším dvěma různými způsoby. Někteří filosofové, evoluční psychologové a antropologové tvrdí, že ačkoli platí základní hypotéza o evolučním původu morálky, neznamená to nutně, že morálka je natolik rigidní, že jejích charakter a meze byly zafixovány v ancestrálním prostředí africké savany před stovkami tisíců let, a že není schopna dalšího vývoje. Koneckonců rapidní morální pokrok, k němž došlo během uplynulých staletí, je důkazem plasticity lidské morálky. Rovněž bychom neměli morální jednání považovat jen za záležitost biologické evoluce, protože naše jednání zásadně utvářejí společenské instituce, které budujeme. Morálka a možnosti jejího dalšího vývoje tudíž závisejí i na kulturní evoluci. Takové komplexnější, „biokulturní“ pojetí evoluce naší morálky, která připouští další zlepšování, nabízejí například filosofové Allen Buchanan a Russell Powell ve své novější knize The Evolution of Moral Progress (Evoluce morálního pokroku). Je tedy možné, že skeptikové, kteří tvrdí, že jsme již vyčerpali náš přirozený potenciál morálně se zlepšovat, založili své přesvědčení na jednostranné nebo nekompletní představě o evoluci našeho druhu.

Ponechme však tento typ odpovědi skeptikům, jakkoli pravděpodobně může znít, stranou. Zaměřme se spíše na druhý způsob reakce na skepsi vůči možnosti dalšího morálního pokroku. Tato druhá reakce pochází od filosofů, kteří sdílejí se skeptiky výše popsané pojetí evoluce naší morálky, podle něhož jsme již možná narazili na přirozené meze našeho morálního zlepšování. Ale místo toho, aby tito filosofové vyvodili z této situace skeptický závěr, domnívají se, že své přirozené meze můžeme překročit s pomocí různých technologických prostředků. A nejen můžeme, ale musíme, pokud chceme mít na této planetě jakožto druh nějakou budoucnost. Tuto cestu ven z pasti našeho evolučního omezení doporučují například oxfordští filosofové Ingmar Persson a Julian Savulescu v knize Unfit for Future (Nezpůsobilí pro budoucnost). Donedávna se v tomto směru uvažovalo hlavně o různých biotechnologických prostředcích, jako je selekce vhodných genů, genetické inženýrství nebo aplikace určitých farmak, které by zlepšily naši schopnost morálního rozhodování prostřednictvím morálního nebo kognitivního vylepšení. Morálního vylepšení bychom mohli dosáhnout například zvýšením hladiny hormonu oxytocin, který snižuje agresivitu a zvyšuje pocity vzájemnosti. Kognitivního vylepšení bychom mohli dosáhnout genetickou modifikací, jejímž výsledkem by bylo zvýšení naší schopnosti rozhodovat se spíše na základě důvodů, než být v zajetí emocí; brát v úvahu všechny dotčené strany, a ne jen naše favority; a dohlédnout všechny možné důsledky, namísto obvyklé krátkozrakosti a tunelového vidění. Stojí za to upozornit, že skeptičtí kritikové morální pokroku razantně odmítají podobné biomedicínské intervence – zvláště pokud by tyto intervence měly být permanentní, jako v případě genetických modifikací. Přesto, nebo právě proto, že považují lidskou povahu za výsledek přirozeného vývoje, považují
za nepřípustné tuto povahu jakkoli modifikovat. 

AI a morální vylepšování

Nověji se však hovoří i o umělé inteligenci coby prostředku zlepšení naší schopnosti morálního rozhodování. Jak známo, pro mnohé laiky, ale i některé odborníky, je umělá inteligence spíše zdrojem obav. Nechci různé hrozby, o kterých se hovoří, podceňovat. Koneckonců, řada povolaných autorů z oborů jako informatika a považují hrozbu umělé inteligence, nepřizpůsobené lidským hodnotám (misaligned AI), za ještě významnější existenční riziko, než je výše zmíněná klimatická změna. Kritické posouzení takového rizika by bylo námětem pro jinou kapitolu. Já mám v úmyslu otázku hrozeb a rizik ponechat zcela stranou. Je třeba věnovat mnohem více pozornosti i způsobům, kterými umělá inteligence může naše životy zlepšit, ne je ohrozit či dokonce zničit. Avšak i v případech, kdy je řeč o pozitivním potenciálu umělé inteligence, zůstává diskuse většinou omezena na její schopnost učinit naše životy lepšími takříkajíc po materiální stránce. Jinými slovy, hovoří se o způsobech, jakými umělá inteligence dokáže zvýšit bohatství společnosti, zlepšit bezpečnost občanů atd. Zatím výjimečně se však diskutuje o tom, jak by umělá inteligence mohla případně učinit naše životy lepšími nejen po materiální stránce, ale i morálně. Jinými slovy, poměrně málo se zatím uvažuje o tom, jak by umělá inteligence mohla přispět k morálnímu pokroku. Ve zbytku této kapitoly představím jeden z návrhů v tomto směru. Jedná se o návrh již zmíněného britského morálního filosofa Juliana Savulesca, jenž se svým italským kolegou Albertem Giubillinim doporučuje využít umělé inteligence pro morální expertízu. Tímto způsobem by bylo možné přinejmenším částečně řešit problém omezenosti našich morálních schopností.

Naše morální schopnosti jsou omezené přinejmenším ve třech ohledech. Za prvé nejsme schopni vzít v úvahu všechny informace, kterých je pro kvalifikované morálního rozhodnutí třeba. Stěží kdy máme čas a schopnosti všechny potřebné informace získat, a i v případech, kdy je máme k dispozici si nemusíme uvědomit jejich relevanci. Za druhé jsme nedokonalými morálními soudci, protože náš soud bývá ovlivněn předsudky a pochybnými dojmy, jejichž neblahý vliv si ani neuvědomujeme. A není divu, neboť za řadu těchto předsudků a představ „vděčíme“ našemu evolučnímu původu, a tak se nám jeví přirozené. Za třetí, i v případech, kdy jsme schopni přijmout na základě relevantních informací morálně správné rozhodnutí, není zaručeno, že se dokážeme přimět v souladu s tímto správným rozhodnutím skutečně jednat. Hluboce zakořeněný egoismus, slabá vůle a různé fyziologické vlivy nás činí nespolehlivými morálními aktéry, navzdory sebelepším morálním předsevzetím.

Jedním z takových předsevzetí může být, že se budu chovat šetrněji k životnímu prostředí. Nebudu plýtvat potravinami, materiály a energií; například budu konzumovat potraviny, jejichž produkce neklade příliš velké nároky na životní prostředí, používat materiály, které se snadněji recyklují, a dám přednost obnovitelným zdrojům energie. Jenže které potraviny kladou menší nároky na životní prostředí? Obecně vím například to, že produkce masa je environmentálně mnohem náročnější než produkce rostlinných potravin, protože velké množství obilnin, které by mohli spotřebovávat přímo lidé, se používá k výkrmu hospodářských zvířat, určených na porážku. Ke kompetentnímu rozhodování o tom, které potraviny konzumovat, bych však potřeboval mnohem specifičtější informace o jejich původu, energetické náročnosti, dostupných alternativách atd. Podobně nedostatečné jsou moje znalosti o původu materiálů a nákladnosti výroby oblečení, které nosím, nebo o jeho recyklovatelnosti. Obecně platí, že nemám čas, znalosti a nástroje potřebné k tomu, abych si zjistil všechna relevantní fakta, potřebná ke kompetentnímu rozhodnutí. Zvláště pak nejsem s to dohlédnout dlouhodobé důsledky, která mají moje různá rozhodnutí – nemluvě o důsledcích, která by měla má alternativní rozhodnutí. Některé z těchto důsledků mohou být zvláště v dlouhodobém horizontu velice morálně závažné. V každodenním shonu však musím jednat rychle a často pod tlakem okolností. Pravděpodobnost, že se rozhodnu jednat způsobem, který nebude ve shodě s mým deklarovaným morálním princem, je tak velmi vysoká. Mou morální volbu mohou poškodit i podvědomé či instinktivní představy o tom, jak má vypadat zdravá a výživná strava – například mohu mít zábrany vůči pojídání hmyzu, takže to dopadne tak, že zavrhnu eticky nejoptimálnější volbu. A konečně, i když vezmu v úvahu všechna relevantní fakta a racionálně se přesvědčím o správnosti určitého rozhodnutí (změnit jídelníček ve směru lokálně vyrobené veganské stravy, nebo pořizovat oblečení z přírodních recyklovatelných materiálů), nedokážu se nakonec přimět podle tohoto rozhodnutí jednat, protože na mě klade vyšší nároky (časové, finanční a jiné).

Umělý morální rádce

Savulescu a Giubillini věří, že v této situaci by nám aspoň do určité míry mohl pomoci jejich „umělý morální rádce“. Takového rádce si můžeme představit jako software, který by nám byl schopen asistovat v případech, kdy si nejsme jisti jak konat, aby naše jednání bylo v souladu s určitými morálními principy, které jsme přijali za své. Tento software by měl být jistým typem umělé inteligence, která čerpá informace ze svého prostředí, zpracuje je podle zadaných operačních kritérií (v daném případě podle morálních kritérií, jakými jsou určité morální hodnoty, cíle a principy), a vygeneruje nejlepší morální doporučení. Tento software by tak pomohl optimalizovat naše morální usuzování, jež trpí omezeními, vyplývajícími z naší evoluční zátěže. Prakticky by se mohlo jednat o aplikaci podobnou těm, na které jsme již zvyklí – nejspíš mapujícím technologiím, jako je Google Maps, které nám na základě modelu prostředí, našeho místa v něm, a zadaných dotazů, poskytuje požadované informace (např. vybírá trasu k danému cíli, doporučuje restaurace v okolí atd.); nebo diagnostickým technologiím, jako je IBM Watson, které na základě přístupu k obrovskému množství diagnóz jiných pacientů dokáží ohodnotit symptomy a stanovit diagnózu či jiné doporučení pro nového pacienta. Funkce zmíněných aplikací lze tedy popsat následovně: (1) shromažďuje informace o prostředí;
(2) modeluje ho podle zadaných kritérií; (3) provádí zadaný úkol podle instrukcí; a (4) generuje výsledek.

„Umělý morální rádce“ by fungoval podobně. Ohled na životní prostředí je jednou z mých morálních priorit, kterou jako instrukci zadám svému „umělému morálnímu rádci“.Moje konzumní návyky, včetně toho, jaké  nakupuji potraviny, oblečení, či jakou dopravu používám – každý z těchto údajů má dalekosáhlé důsledky, které nejsem sám schopen zvážit, a informace o nich si obstarat. „Umělý morální rádce“ mi však může ve zlomku vteřiny poskytnout potřebná doporučení, protože má přístup k nepřebernému množství dat na internetu, podobně jako má Google Map přístup k modelu mého prostředí a diagnostický robot ke statisícům diagnóz. Mezi již zaužívanými typy umělé inteligence, jako jsou Google mapa a diagnostický robot, a zatím hypotetickým „umělým morálním rádcem“, je jeden podstatný rozdíl. Ty první poskytují faktické informace, tj. že věci se mají tak a tak. Umělý morální expert by dával morální rady. To znamená, že za předpokladu, že si přeji, aby věci byly tak a tak, doporučoval by mi, abych jednal tak a tak.

„Umělý morální rádce“ by tak určitě výrazně pomohl s prvním ze tří omezení, s nimiž se ve svém morálním rozhodování potýkáme, totiž s naší neschopností obstarat si včas relevantní informace. Jak jsem uvedl, všechny potřebné informace by byly dostupné prakticky okamžitě. Kromě toho nám však „umělý morální rádce“ může pomoci ochránit náš morální úsudek před mylnými dojmy a předsudky, jejichž vliv si často ani neuvědomujeme, protože jsou součástí našeho evolučního dědictví – tudíž se druhým ze zmíněných tří omezení. Umělá inteligence nemá biologický původ a tudíž netrpí tímto kognitivním deficitem. Giubilini a Savulescu v této souvislosti připomínají, že umělá inteligence, jež by mohlo asistovat v našich morálních rozhodnutích, splňuje v mnoha ohledech představu klasických filosofů o ideálním morálním soudci. Umělá inteligence je v první řadě nestranná, tj. neupřednostňuje zájmy žádného konkrétního aktéra ani skupiny aktérů. Dále je racionální, čili nepodléhající emocím, které lidské aktéry často svádějí na scestí. A je konzistentní, takže za předpokladu, že zjistí stejná fakta, vygeneruje ve shodě se stejným morálním kritériem stejný výsledek. Naopak my lidé jednáme často nekonzistentně, protože se necháme ovlivnit řadou nahodilých faktorů (a někdy si to ani neuvědomujeme). Giubilini a Savulescu kromě toho uvádějí jednu výhodu svého „umělého morálního rádce“ ve srovnání s dříve zmíněnými metodami kognitivního a morálního vylepšování. Farmakologické metody (léky, hormony apod.), nemluvě o genetickém inženýrství, jsou invazivní. Zasahují do naší přirozenosti, a někdy ji mají za cíl změnit trvale (manipulací fenotypu daného jedince, ne-li dokonce genotypu příštích generací). To je také hlavní důvod, proč konzervativní odpůrci vylepšování člověka tyto metody odmítají. Giubilini a Savulescu ale upozorňují, že tito kritici neodmítají cíl podobných zásahů – tj. aby se lidé stali navzájem přátelštějšími, štědřejšími, altruističtějšími, zkrátka morálně lepšími. Je-li shoda na žádoucnosti cíle, neměli by ani kritici vylepšování namítat nic proti nabízené alternativní metodě, totiž „umělému morálnímu rádci“, protože nijak nemodifikuje naši přirozenost. Je to vnější nástroj, který můžeme, ale nemusíme použít.

AI a slabá vůle

Zdá se, že v tom je však zároveň hlavní nedostatek „umělého morálního rádce“. Jde-li o nástroj, který nemá přímý vliv na naši morálně nedokonalou přirozenost, nemůžeme od něj patrně očekávat, že nám výrazně pomůže s problémem nedostatečné morální motivace. O tomto problému jsem se zmínil výše. Někdy máme k dispozice informace pro dosažení morálně správného rozhodnutí, dokonce se nám podaří k tomuto morálně správnému verdiktu dospět –, ale nedokážeme se už přimět k tomu, abychom ve shodě s tímto verdiktem jednali. Správný čin na nás klade příliš vysoké nároky, žádá po nás, abychom omezili své sobectví způsobem, který je neúnosný. Někdy však nastane situace, kdy správné jednání není spojeno s nijak vysokými náklady, a přesto jednáme jinak. Je to tak prostě jednodušší, nebo jsme tak zvyklí. Zdá se, že umělá inteligence nemůže v takové situaci pomoci, protože prostě nebudeme na její rady dbát.

Avšak možná, že schopnost umělé inteligence vyřešit, či alespoň zmírnit problém slabé vůči a nedostatečné morální motivace, poněkud podceňujeme. Třeba umělá inteligence i v tomto směru skýtá jistou naději. Když jednáme samostatně, bez asistence nějakého morálního experta, je relativně snadné zavrhnout vlastní morální soud a přesvědčit sám sebe, že ve skutečnosti není ten správný. Kvůli sobectví nebo prachobyčejné lenosti hodíme za hlavu morální rozhodnutí, k němuž jsme dospěli, a omluvíme svou neschopnost jednat správně tím, že jsme třeba nevzali v úvahu nějaká fakta, která by náš soud pozměnila. Nebo sami sebe přesvědčíme, že naše špatné jednání ve skutečnosti nemá onu závažnost, kterou jsme mu původně přisuzovali. A jedná-li se o situaci, kdy se rozhodneme proti svému lepšímu úsudku takříkajíc ve skrytu srdce (nebo ve své hlavě), takže zde není nikdo druhý, kdo by nám naše selhání připomněl a vyčetl, je relativně snadné selhat. Avšak představme si, že jsme si zvykli využívat rad „umělého morálního rádce“ – umělého experta ve věcech morálky, který je nestranný, bez emocí a neúprosně konzistentní. Dejme tomu, že jsme si zvykli řídit se jeho radami již dlouhá léta, nebo celý život. Abych se přiznal, v daném případě hodně spoléhám na to, že se na podobných expertních systémech staneme závislými, jako jsme již závislí na jiných druzích umělé inteligence, kterých využíváme v našich každodenních rozhodnutích. Ne všechny druhy závislosti jsou totiž nežádoucí. Giubilini a Savulescu správně upozorňují, že konzervativní kritici se obávají změny lidské přirozenosti prostřednictvím nových technologií, ale tito kritici přece varují i před naší závislostí na používání těchto technologiích. Na rozdíl od Giubiliniho a Savulesca si tudíž nemyslím, že konzervativní kritici vylepšování člověka budou o mnoho vstřícnější vůči představě umělého morálního experta, než vůči hormonální léčbě či manipulaci genetického kódu. Já se domnívám, že je potřeba odmítnout samu představu techniky, včetně umělé inteligence, jako čehosi cizího a neslučitelného s lidstvím, o kterém se předpokládá, že ho příliš intimní a stálý kontakt s technikou může pouze poškodit. Jistě, ne všechny technické vymoženosti nám musejí prospívat, ale tyto věci je potřeba posuzovat případ od případu. Konkrétně představa umělého morálního experta, na jehož asistenci bychom se stali závislými, a jehož verdikt by nám kromě jiného připomínal závažnost našich morálních selhání, se mi jeví jednoznačně pozitivní. Na rozdíl od závislosti na jiných technologiích, které ovlivňují naši přirozenost, jako jsou počítačové hry, pornografie, nebo drogy, by nám závislost na hlasu nestranného, emocí zbaveného a konzistentního umělého morálního rádce umožnila konfrontovat vlastní slabost a výmluvy – a alespoň v některých případech tyto slabosti a výmluvy překonávat.

Závěr

Morální pokrok existuje, ale lidstvo stojí před tak důležitými výzvami (klimatická změna), že ho akutně potřebuje urychlit. Kromě jiných technologických řešení se v této souvislosti nabízí i umělá inteligence. S touto technologií jsou zajisté spojena i rizika, která není radno podceňovat. Zároveň by ale bylo chybou podléhat tolik rozšířené technofobii. Umělá inteligence by se kromě jiného mohla stát naším morálním rádcem, který nám aspoň do určité míry mohl pomoci překonat naše sobectví a jednat v zájmu druhých, včetně těch dosud nenarozených.

Literatura

Buchanan, A., Powell, R.,  The Evolution of Moral Progress: A Biocultural Theory. New York: Oxford University Press, 2018.
Giubillini, A., Savulescu, J., The Artificial Moral Advisor. The “Ideal Observer” Meets Artificial Intelligence. Philosophy of Technology 2017, 31(2), s. 169-188.
Persson, I., Savulescu, J. Unfit for the Future: The Need for Moral Enhancement. Oxford: Oxford University Press., 2012.
Pinker, S. Lepší andělé: Proč ubývá násilí. Přel. Zuzana Gabajová. Praha: Academia, 2023.

---

Původně vyšlo v Proč se nebát umělé inteligence. Jota, Praha 2024. Autoři knihy Proč se nebát umělé inteligence? nabízejí střízlivý a odborně podložený pohled na současný stav a perspektivy umělé inteligence (AI). Čtenář se ve srozumitelné podobě dozví, na jakých technologických základech AI stojí, jaká je její historie a jak probíhá zpracování přirozené řeči ve velkých jazykových modelech. Kniha rovněž ukazuje, jak aplikace AI už dnes slouží v průmyslu, zdravotnictví, robotice či v oblasti kybernetické bezpečnosti a jak konkrétně je možné AI využít například ve státní správě či ve službách. Řada příspěvků je věnována filozofickým úvahám o roli a možnostech umělých strojů, etice a právu při jejich využívání.

Report je ke stažení zde.

Etika a morálka

Není těžké si etiku a morálku splést nebo je dokonce považovat za totéž. Slovo „morálka“ pochází z latinského substantiva mos, moris, které vlastně znamená to samé co řecké slovo éthos. A je pravda, že často mezi těmito slovy nerozlišujeme, hovoříme například o etických teoriích i o morálních teoriích. Navzdory tomu mezi etikou a morálkou existuje velmi důležitý rozdíl. Morálkou většinou rozumíme nějaký systém norem, podle kterého se lidé snaží řídit. Tento systém má celou řadu zdrojů, od evolučního vývoje přes náboženství, kulturu či historii daného společenství. Morálka je tedy v určitém smyslu relativní: morálka jednoho společenství se nějak vyvíjela v čase (například otroctví dnes považujeme za nemorální, ale před nějakou dobou to neplatilo), morálky dvou společenství (ale i dokonce dvou lidí) se mohou více či méně lišit.

Na rozdíl od morálky je etika součást filozofie. Jedná se o vědeckou disciplínu, která zkoumá lidské jednání a hledá teorie jeho správnosti či nesprávnosti a faktorů, které tyto vlastnosti určují. A zabývá se také ctnostmi (neřestmi) a otázkou, jak přispívají k plnohodnotnému lidskému rozvoji a mravnímu jednání. Mnozí zastánci etiky (ale ne všichni) jsou přesvědčení, že zatímco morálka je určitým způsobem nahodilá a její obsahy určuje celá řada faktorů, etika poskytuje teorie správného jednání, které jsou objektivní. Mají tím na mysli,
že pokud nějaká etická teorie identifikuje určitý typ jednání jako nesprávný (např. zotročování, ženskou obřízku či diskriminaci), je skutečně nesprávný bez ohledu na dobu a společenství. Součástí morálního přesvědčení některých lidí je třeba to, že ženská obřízka je správná, etika ale ukazuje, že se musí mýlit. Morální pokrok potom spočívá právě v tom, že se lidská společnost postupně zbavuje nesprávných obsahů svých morálních kodexů a nahrazuje je obsahy prověřenými etickou reflexí.

Etika jen pro lidi?

Z předchozího výkladu se zdá, že etika je o lidech a pro lidi. Není to ale pravda. V první řadě proto, že v dějinách lidského společenství postupně rostlo přesvědčení, že oblast mravního zájmu nemůže být omezena pouze na lidi. Zvířata mohou trpět a neexistuje proto důvod nevěnovat jim patřičnou pozornost v našich etických úvahách. Někteří jdou dokonce tak daleko, že do těchto úvah vpouštějí i rostliny, ekosystémy či dokonce celou planetu. A v posledních několika letech roste počet publikací, které se zamýšlejí nad tím, zda tento rostoucí kruh mravního zájmu nerozšířit i o roboty a systémy umělé inteligence.

Nejde ale jen o rozšiřování morální komunity, tedy třídy bytostí, které musíme v našich etických rozvahách brát v úvahu. Člověk je primárně homo technologicus, jeho přirozenost je spjata s technikou a technikou byla a je utvářena (pomysleme jen na takové věci, jako je oheň, vařená strava, jazyk, knihtisk apod.). My lidé používáme celou řadu prostých i velmi sofistikovaných nástrojů, technických artefaktů. Může se zdát, že pro etiku tím žádný problém nevzniká; z jejího pohledu je asi jedno, jestli něco správného (nesprávného) uděláme holýma rukama nebo pomocí nějakého nástroje. V této perspektivě se může zdát, že role techniky (a mezi technické artefakty řadíme i AI a roboty) je čistě instrumentální. Nebo jinak, technika je morálně neutrální (není ani dobrá, ani špatná), správné či nesprávné je pouze její využívání člověkem.

Tato zjednodušující koncepce techniky má však dnes jen pramálo zastánců. Jistě, je pravda, že lidé mohou použít sekeru k sekání dřeva, ale (bohužel) i k tomu, aby někoho zavraždili. Podle instrumentalismu je to ale člověk a jeho použití sekery, nikoli sekera samotná, kdo může mít dobré i špatné důsledky pro ostatní. Tak jednoduché to ale není. Ukazuje se totiž, že technika morálně neutrální není a dobré i špatné důsledky může mít již samotná existence nějakých technických artefaktů.

Auta nás převážejí z bodu A do bodu B, současně ale mění tvář krajiny a měst a nutí nás přizpůsobovat jim své životy. Mobilní telefony a jejich aplikace umožňují celou řadu forem komunikace, současně ale ovlivňují naše životy, soustředění a pozornost, a redefinují a mění třeba i formy setkávání a interakcí. Žárovka přinesla světlo do našich domácností, kromě toho ale také narušila naše přirozené rytmy spánku a bdění a umožnila unifikaci lidského života (kdy vstáváme, kdy pracujeme, kdy odpočíváme, kdy spíme). Etika techniky se proto soustředí na způsoby, jakými se technické artefakty staví mezi nás a svět, a spoluurčují tak nejen formy našeho vztahování se k němu (v poznání i jednání), ale i kontury lidské přirozenosti (co znamená být člověkem) a pospolitosti. Současná etika se tedy nesoustředí pouze na lidské jednání, ale také na důsledky existence a využívání techniky, včetně systémů umělé inteligence a robotů.

Rozdělení etiky

Současná etika se většinou dělí do čtyř oblastí:

Metaetika je poměrně složitá subdisciplína etiky, kterou se zde naštěstí nemusíme zabývat. Postačí jen vědět, že se věnuje jazyku etiky a klade si otázky jako „mají výroky etiky pravdivostní hodnotu?“, „existují morální vlastnosti?“, „jak poznáváme morální vlastnosti?“ apod. Normativní etika je teoretickým jádrem etiky a zabývá se tvorbou etických teorií, tj. teorií správnosti a nesprávnosti a faktorů, které tyto vlastnosti ovlivňují. Deskriptivní etika popisuje morálku a konečně aplikovaná etika se pokouší aplikovat teoretické etické poznání na vybrané třídy problémů, například etika životního prostředí, etika klimatické změny, práv zvířat, medicíny, výzkumu či techniky.

Etika umělé inteligence

 Umělá inteligence ve svých různých podobách je takřka všudypřítomná a dobývá se do všech oblastí lidské existence. Někteří autoři ji proto přirovnávají k objevu a využívání elektřiny, jiní o ní hovoří jako o ohromné vlně, která se postupně přelévá celou lidskou společností. Pozitivní potenciál AI je jednoduše ohromující: může prudce urychlit vědeckotechnický pokrok, generovat blahobyt, výrazně zlepšit kvalitu i délku lidského života. Mnozí autoři se ale obávají, že tato pozitiva mohou být snadno převážena negativy. AI může být dobrý sluha, ale velmi špatný pán. Nemusíme si hned myslet, že nás AI z nějakého důvodu vyhubí. Elektřina je také prakticky všudypřítomná, a kdyby došlo k jejímu delšímu globálnímu výpadku, byla by naše civilizace v ohrožení. Podobně všudypřítomná začíná být i AI, a pokud by její rozhodování nebylo v souladu s lidskými hodnotami, měli bychom velký problém.

V posledních letech se proto nepřekvapivě dostala do popředí zájmu odborníků etika AI, kterou můžeme chápat jako aplikovanou etiku, tj. snahu vztáhnout etické teorie na systémy AI, jejich existenci, rozhodování, jednání a využívání lidmi. Hlavním cílem etiky AI je vytvořit normativní (závazný) rámec regulace AI, aby sloužila ve prospěch lidí, společnosti i životního prostředí.

Etika AI. Ale jaká etika?

Již staří Řekové si velmi dobře uvědomovali, že etika je disciplína z povahy svého objektu zájmu velmi nesnadná. Soustřeďuje se totiž na nesmírně komplexní a těžko předvídatelnou oblast: lidské jednání, lidskou společnost a lidské výtvory. Není proto překvapivé, že etika – akademická disciplína – není zcela jednotná. Existuje několik hlavních etických teorií, které mají celou řadu variant. Mnohdy se na závěrech shodují, často ale také ne, kromě toho nabízejí jiná vysvětlení pro to, že nějaké jednání je či není správné nebo nesprávné. A v etice, která si klade za cíl regulovat jednání lidí i strojů, jsou závěry stejně důležité jako důvody, které k nim vedou. Etika nedisponuje stejnou vědeckou metodologií jako přírodní vědy, nemá k dispozici smyslově vnímatelnou realitu, která by mohla být východiskem jejího zkoumání a poskytovala jejím závěrům empirické verifikátory (či falsifikátory). Kvalita a přijatelnost etických teorií a jejich závěrů stojí a padá s kvalitou argumentů a důvodů.

Aplikovaná etika aplikuje etické teorie na určité oblasti. Chceme-li se zabývat etikou AI, musíme mít k dispozici nějakou etickou teorii a dobré poznání dané oblasti (AI). Jaká by to ale měla být? Snad každý etik se drží nějaké etické teorie, kterou považuje za lepší než ostatní, my zde ale stojíme před praktickou výzvou. AI a její systémy jsou již mezi námi a ovlivňují naše životy. Její pozitivní i negativní potenciál je ohromující a my lidé nemůžeme složit ruce do klína a čekat, jak se věci vyvrbí. Musíme být proaktivní a AI regulovat, aby nám prospívala a abychom eliminovali její negativní potenciál či ho alespoň snížili na rozumnou a tolerovatelnou hranici.

Nebudu se zde proto zabývat etikou AI v celé její šíři, nebudu zde popisovat všechny možné etické přístupy ani současný stav odborné diskuze, dokonce se ani nepokusím předložit svou preferovanou etickou teorii a aplikovat ji na AI. Mé záměry jsou mnohem skromnější a praktičtější. V celé řadě národních i mezinárodních dokumentů zabývajících se etikou a regulací AI se prosadil určitý přístup k ní. Představím ho zde a ukážu, jak jej lze využít například společnostmi, které hledají normativní východiska pro tvorbu etických kodexů a vnitřních firemních politik.

Tři základní pilíře

Zkusme se na chvilku vžít do role odborníka, který je pověřený vytvořením základního konceptuálního a normativního rámce pro regulaci AI. Jak by měl postupovat a jaké poznatky, koncepty a teorie bude pro svou činnost potřebovat? Úplným minimem je mít k dispozici nějakou základní teoretickou jednotící koncepci, prakticky aplikovatelné etické principy a samozřejmě také nějakou metodologii:

Základní teoretická koncepce

Za základní jednotící teoretickou koncepci můžeme považovat důvěryhodnou umělou inteligenci. Definovat důvěryhodnost není jednoduché. Jedná se o komplexní pojem, který zahrnuje celou řadu složek, například integritu, spolehlivost či transparentnost. Někdo (nebo něco) je pro nás důvěryhodné, pokud se chová eticky správně, konzistentně, ve shodě se svými sliby a předsevzetími, jednoduše někdo, komu můžeme věřit, protože víme, jak se bude chovat, a víme, že se bude chovat správně a nijak nám neublíží.

Pojem důvěryhodnosti lze velmi dobře aplikovat také na systémy AI. Intuitivně je důvěryhodná AI taková, která se chová předvídatelně, správně a spolehlivě. V praxi to znamená, že systémy AI musí mít celou řadu vlastností a splňovat určité požadavky, aby se chovaly odpovídajícím způsobem, a umožnily tak vznik pouta důvěry mezi ní a námi. Tyto vlastnosti a požadavky spadají do tří kategorií:

Žádná z kategorií nezahrnuje triviální vlastnosti a snadno splnitelné požadavky. Důvěryhodná AI (dále jen DAI) musí respektovat platné právo. Neexistuje však žádná snadno implementovatelná procedura, která by splnění tohoto požadavku zajistila. Právo se aplikuje na komplexní a složitý systém společenských vztahů a jeho dobrá aplikace vyžaduje poznání kontextu, interpretaci a celou řadu praktických dovedností.

Neméně problematická je aplikace etických principů (viz níže). I když si vybereme obecné a dostatečně jednoduché principy, opět je musíme aplikovat na složité systémy zahrnující lidské hodnoty, práva, ale také přesvědčení, očekávání, tužby a preference. Kromě toho se tyto principy v praxi snadno dostávají do sporu a neexistuje žádná všeobecně přijímaná procedura, jak napětí mezi principy efektivně řešit.

Pojem DAI zahrnuje také specifické technické požadavky kladené na systémy AI. Mezi nejdůležitější patří transparentnost a s ní spojená vysvětlitelnost, dále spolehlivost, bezpečnost a kontrolovatelnost. V případě moderních systémů AI se však ukazuje, že – minimálně za současného stavu vědeckotechnického poznání – jsou mnohé z těchto vlastností v těchto systémech nedosažitelné. Hluboké neuronové sítě nejsou transparentní a vysvětlitelné, nelze proto určit, zda jsou bezpečné, spolehlivé a kontrolovatelné.

Přesto přese všechno je koncepce DAI hodnotná a důležitá, protože nastavuje důležitý ideál, na jehož dosažení by se měl výzkum na poli AI zaměřit. A pokud by se to ukázalo jako nemožné, poskytuje dobré teoretické pozadí pro další praktické úvahy, např. zda takové systémy AI vůbec používat, v jakých oblastech to přípustné je, v jakých rozhodně není apod. I neúspěch ve snaze o dosažení nějakého ideálu může mít důležité praktické důsledky, jejichž finalitou je primárně ochrana lidských hodnot, kvality života a společného soužití.

Etické principy

Druhou integrální součástí pojmu DAI je respekt k etickým principům. Praktická etika a snaha o regulaci AI se ocitla ve stejné situaci jako lékařská etika v 70. letech minulého století. Medicína se prudce rozvíjela, vědeckotechnický pokrok přinášel celou řadu benefitů, ale současně vytvářel nové situace, které vyžadovaly etickou rozvahu a konkrétní řešení. Například objev mechanického plicního ventilátoru umožnil zachraňovat lidské životy, ale současně stavěl lékaře před otázku, zda a za jakých podmínek je možné tuto podporu života ukončit (a nechat pacienta zemřít).

Stejně jako dnes, i tehdy existovala celá řada etických teorií. Zdravotníci však nepotřebovali teorie, ale praktická vodítka, podle nichž by se mohli ve své praxi efektivně rozhodovat. V tomto kontextu spatřila světlo světa etická teorie známá jako principlismus. Její název pochází z toho, že jejím základem jsou čtyři obecné etické principy, které mají ve svém souhrnu poskytnout požadovaná praktická normativní vodítka.

Jedná se o následující čtyři principy (známé také jako principy lékařské etiky):

V literatuře se také hovoří o principu prospívání (beneficence), principu neškození (non-maleficence), principu respektu k autonomii a konečně principu spravedlnosti. Všechny čtyři mají stejnou normativní sílu, což znamená, že mezi nimi neexistuje žádná hierarchie; všechny jsou stejně důležité a závazné.

Ve velmi obecné, abstraktní rovině se zdá být aplikace těchto principů na AI poměrně snadná. Princip prospívání říká, že AI má lidem (zvířatům, životnímu prostředí) prospívat, princip neškození zapovídá působit újmu, princip respektu k autonomii vyjadřuje požadavek, aby lidské autonomní volby a jednání nebyly AI omezovány, a konečně princip spravedlnosti se hlásí k rovnosti všech lidí a zakazuje jakoukoli formu diskriminace. Uvidíme později, že toto zdání je velmi chybné.

Etika AI se však nespokojuje se čtyřmi principy lékařské etiky. Představme si například, že se proti nám vede soudní proces, a nakonec je vynesený rozsudek. Pro nás, naše advokáty, ale vlastně i pro samotný právní systém a veřejnost je velmi důležité vědět, jaké důvody vedly soudce k tomu, že dospěl k nějakému verdiktu a uložil trest. Je to důležité pro nás, protože chceme vědět (a máme právo vědět), jaké argumenty a důvody rozhodly o našem osudu. Je to důležité pro naše advokáty, protože tak mají možnost nás hájit (a tím i spravedlnost). Je to podstatné pro právní systém, protože je důležité vědět, že respektuje nestrannost, vládu práva, spravedlnost a rovnost. A samozřejmě je to důležité i pro veřejnost, jejíž fungování je právním systémem výraznou měrou regulováno a důvěra v nestranný a spravedlivý právní systém je důležitou hodnotou demokratických společností.

A nyní si představme, že důvody soudcova rozhodnutí jsou skryty (nejsou transparentní), takže je nelze vysvětlit, pochopit, podrobit kritice a případně i zvrátit. Jednalo by se o radikální zásah do základních lidských práv a pošlapání celé řady lidských a společenských hodnot. Není proto překvapivé, že vysvětlitelnost se vyžaduje i od AI, zvláště uvědomíme-li si opět její všudypřítomnost a nebývalé možnosti zasahovat do našich životů. Svěřujeme-li AI stále více rozhodnutí – zvláště těch důležitých – měla by být vysvětlitelná.

Princip vysvětlitelnosti je poslední princip etiky AI, jejíž výsledná podoba je následující:

Byť je smysl a význam tohoto principu pro etiku a regulaci AI pochopitelný, nelze zastírat fakt, že mnohé systémy AI transparentní a vysvětlitelné nejsou a navzdory pokračujícímu výzkumu na poli vysvětlitelné AI (XAI) zatím není žádné uspokojivé řešení v dohledu.

Design citlivý na hodnoty

Posledním pilířem praktické etiky AI je určení nějaké metodologie zavádění a sledování systémů AI a jejich fungování. Důležitým východiskem této metodologie je důrazně proaktivní přístup: hodnotové úvahy nepřicházejí ex post, až poté, co nějaký systém AI existuje, ale měly by doprovázet jeho vývoj, návrh, implementaci v praxi a využívání. Design citlivý na hodnoty představuje ztělesnění tohoto proaktivního přístupu k návrhu AI v praxi a s ním spojených hodnotových a etických rozvah.

V rámci designu citlivého na hodnoty je možné rozlišit čtyři navazující fáze:

Představme si nejdříve, že systém AI ještě neexistuje a je teprve třeba ho vytvořit. V rámci analýzy je třeba položit si celou řadu otázek: proč chceme AI vytvořit, jakou roli bude hrát ve společnosti, jaké úkoly bude plnit, jaké hodnoty by měla ztělesňovat a zachovávat, jaké benefity slibuje, s jakými riziky je spojena, jaký segment populace má potenciál ovlivnit, jak konkrétně by měla respektovat etické principy, jakým způsobem je možné identifikovat rizika a jejich vážnost, jaké mechanismy jejich eliminace či alespoň zmírnění existují (a které z nich je možné přijmout a využít), jak by se měla rozhodovat apod. Odpovědi na tyto otázky nemusí být snadné najít, jsou ale zcela zásadní a hrají důležitou roli v návrhu AI. Nejde jen o to, aby AI plnila úlohu, pro niž byla stvořena (např. diagnostikovala choroby, generovala obrázky, rozhodovala o poskytování půjček atd.), ale aby ji plnila dobře: respektovala platné právo, lidské hodnoty, etické principy a byla dostatečně technicky robustní, aby byla bezpečná, spolehlivá a (pokud možno) transparentní a vysvětlitelná. Jinak řečeno, cílem je vytvoření důvěryhodné umělé inteligence.

Po návrhu a vytvoření AI následuje uvedení do provozu, které ale není samozřejmé. Splnit všechny požadavky spojené s konceptem DAI není možné, lze se k tomu ale přiblížit. Další záleží na kontextu. Některé vyžadují co největší blízkost k ideálu DAI, a pokud se k němu nepodaří dostatečně přiblížit, neměla by se v něm AI využívat. Například systém COMPAS se využívá u soudů k predikci recidivy a mnohé soudy k těmto predikcím ve svých rozhodnutích přihlížejí. Jedná se však o systém, který není transparentní a není možné vysvětlit, jak ke svým rozhodnutím dochází (víme ale, že jsou často diskriminační). COMPAS se využívá v kontextu (aplikace práva), který vyžaduje vysokou míru blízkosti k plnému ideálu DAI. Jelikož ho však v podstatných bodech nedosahuje (transparentnost, vysvětlitelnost, spravedlnost), neměl by se vůbec používat, a pokud se již někde využívá, měla by tato praxe okamžitě skončit.

Čtvrtou fází je využívání AI a údržba. Cyklus se zde vrací na samotný začátek, protože fungování AI a její důsledky je třeba neustále sledovat. Existuje pro to celá řada důvodů: potřeba vyhodnocování efektivity mechanismů kontroly rizik; fakt, že vzhledem ke složitosti oblasti aplikace AI není snadné předvídat všechna rizika a negativní dopady; u některých předvídaných dopadů se nemusí podařit odhadnout jejich míru a ty mohou být vážnější, než se předpokládalo. Analýza má za úkol popsat a zhodnotit důsledky využívání AI, navrhnout možné úpravy, posílit mechanismy eliminace a zmírňování rizik a v případě potřeby navrhnout nové. Celý proces pokračuje až k úvaze, zda je možné AI nadále využívat a v průběhu tohoto využívání se opět vrací do fáze analýzy.

Konceptuální, normativní a metodologický rámec etiky umělé inteligence je v základních rysech kompletní:

A jak dále?

Vytyčení výše uvedeného rámce etiky AI je pouhým začátkem. Ve skutečnosti před námi stojí celá řada dalších výzev a nemusí být vůbec jednoduché najít jejich řešení. Popíšu zde jen některé z nich.

Etické principy, jimiž by se AI měla řídit, jsou vcelku snadno popsatelné v obecné, abstraktní rovině, jejich praktická aplikace však tak jednoduchá být nemusí. První princip požaduje, aby systémy AI prospívaly lidem a společnosti, celou řadu otázek však nechává nezodpovězených. Co přesně znamená, že AI prospívá? Existuje nějaká definice prospívání? Je na této definici shoda, která by umožnila její aplikaci v různých, často velmi odlišných, kulturních a náboženských kontextech? Podobné otázky si můžeme klást i u dalších etických principů. Co je to například újma, jejíž působení druhý princip zapovídá? A jaké formy újmy existují? Jsou všechny formy újmy stejně závažné? A je vůbec možné srovnávat závažnost různých forem újmy (například fyzické a psychické)?

Tyto problémy neznamenají, že je projekt etiky AI v troskách. Ukazují však, že vytyčení obecného etického rámce etiky AI – jaký nacházíme v celé řadě mezinárodních dokumentů – není dostačující. Od tohoto rámce k praktické aplikovatelnosti a aplikaci je ještě dlouhá cesta. Mohli bychom si pomoci například tak, že se zaměříme na konkrétní využití AI a pokusíme se odpovědět na výše položené otázky nikoli pro AI obecně, ale pouze pro tuto doménu využití.

Pro každou doménu, v níž budeme využívat AI, můžeme určit doménově specifické hodnoty, které nám umožní konkretizovat aplikaci etických principů. Například v případě autonomních vozidel to může být bezpečnost posádky a provozu, plynulost provozu, nižší emise a zátěž pro životní prostředí, zvýšená dostupnost dopravy pro vyloučené skupiny apod. Újmu lze potom situovat do jasně vymezených a pro provoz vozidel typických kategorií, např. újma na majetku, zdraví a životech. Odlišné hodnoty budeme zřejmě identifikovat u ošetřovatelských či společenských robotů, jiné u systémů online identifikace a další zase u generátorů obrázků.

Ale ani když se nám podaří určit tyto doménově specifické hodnoty (a k tomu nás metodologie designu citlivého na hodnoty vybízí), nemáme zdaleka vyhráno. Není obtížné identifikovat tři hlavní kategorie újmy v případě provozu autonomních vozidel, jakým způsobem ale budeme tyto rozdílné typy újmy srovnávat? Měli bychom například vytvořit nějakou hierarchii, která reflektuje vážnost újmy? Mohli bychom pak vcelku plausibilně tvrdit, že újma na životě je vážnější než újma na zdraví a újma na zdraví je vážnější než újma na majetku. Z této hierarchie by už bylo možné odvodit jasná pravidla distribuce újmy: pokud se autonomní vozidlo ocitne v situaci, kdy musí distribuovat újmu, mělo by vždy chránit životy, poté zdraví a nakonec majetek. Kdyby například mělo volbu „usmrtit chodce A“, nebo „zranit posádku vozidla“, mělo by vždy volit druhou možnost.

Tento jednoduchý etický systém minimalizace újmy je v mnoha ohledech intuitivně přijatelný, není ale obtížné vytvořit scénáře, v nichž si nebudeme jistí, že je korektní. Mělo by vozidlo způsobit jakoukoli majetkovou škodu, jen aby zabránilo triviálnímu zranění? A je vždy lepší zachránit lidský život
i za cenu vážného zranění více jedinců?

Jinou možností by mohlo být najít nějakou společnou hodnotu, která by umožnila srovnávání újmy napříč kategoriemi. Existují teorie, které nám to umožňují, ale ani v tomto případě nebude řešení prosté problémů. Řekněme, že touto společnou „měnou“ je nějaké X (pro ilustraci není nutné X blíže specifikovat). Smrt může mít hodnotu nX, určité zranění mX a majetková újma sX. Etika minimalizace újmy by potom mohla mít následující podobu: v kolizní situaci distribuuj újmu tak, aby celková hodnota újmy byla minimální. Smíříme se ale s tím, že když bude hodnota smrti jednoho člověka o jediný bod X nižší než součet negativních hodnot zranění, obětuje vozidlo lidský život?

Nabízí se ještě jiná možnost. Možná by nejlepším řešením bylo zakázat autonomním vozidlům činit takto závažné volby a povolit jim jedinou možnost: pokud se dostaneš do kolizní situace, nerozhoduj o distribuci újmy, neměň směr jízdy, pouze intenzivně brzdi. Toto řešení má zdánlivou výhodu v tom, že nás zprošťuje povinnosti obtížných etických rozvah. Je to ale výhoda pouze zdánlivá, nejméně ze dvou důvodů. Prvním z nich je to, že z empirických výzkumů víme, že toto řešení se lidem vůbec nezamlouvá. Preferují, aby se vozidla nějak rozhodovala, dokonce preferují, aby se rozhodovala tak, aby minimalizovala újmu. A druhým důvodem je to, že toto řešení v praxi znamená, že autonomní vozidla budou působit více újmy, než by bylo nutné. Kdyby se například dostalo do situace, kdy lze volit mezi A: prudce brzdit a ohrozit dvě děti na přechodu, B: zahnout doprava a ohrozit řidiče, není volba „pouze brzdi“ pro většinu lidí přijatelná. Kdyby vozidlo neubrzdilo a narazilo do dětí, vyvolalo by to intenzivní negativní emoce a narušilo možnost vzniku pouta důvěry mezi lidmi a autonomními vozidly.

Tyto problémy se týkají distribuce újmy, tj. aplikace principu neškození, a vidíme, že to není vůbec jednoduché. Do sporu se ale často dostává více etických principů. Představme si například systém AI, který má rozhodnout o tom, zda má onkologický pacient podstoupit chemoterapii, či se spíše svěřit paliativní péči. Chemoterapie má potenciál pacientovi prospět (uzdravit ho, zlepšit symptomy, prodloužit mu život), současně ale víme, že má celou řadu negativních účinků. Ve hře jsou tedy principy prospívání a neškození; první říká, že chemoterapie je přípustná pouze tehdy, může-li pacientovi prospět, druhý zapovídá působení újmy. Je zjevné, že jsou oba principy ve sporu a je třeba nějakým způsobem vyvažovat. Žádná obecná a snadno aplikovatelná metoda vyvažování však neexistuje. A celá situace se výrazně komplikuje tím, že vyvažování prospěchu a újmy není nějakou čistě medicínskou, „objektivní“ záležitostí. Do rozhodovacího procesu totiž vstupuje samotný pacient se svými hodnotami, preferencemi, představami o kvalitním životě apod. Jinými slovy, přípustnost chemoterapie nezávisí pouze na medicínských faktorech, ale také na hodnotovém systému pacientů a jejich očekáváních. U některého pacienta mohou být nastaveny tak, že je chemoterapie přípustná i tehdy, kdy způsobí vážnější a těžko snesitelné vedlejší důsledky a naděje na úzdravu není příliš vysoká, u jiného to platit nemusí.

Etické principy se aplikují v komplexních situacích a jejich aplikace není určena pouze „objektivními“, dobře zjistitelnými a naučitelnými faktory, ale také faktory subjektivními a kontextově závislými. Pro AI nemusí být vůbec snadné tyto principy aplikovat (není to snadné ani pro člověka) v různých kontextech a na odlišné subjekty. A vzhledem k tomu, že celá řada empirických výzkumů ukazuje, že máme tendenci soudit umělé systémy mnohem přísněji než nás lidi, mohla by rozhodnutí AI lidmi vnímaná jako nesprávná vést k celé řadě negativních důsledků, jež by v posledku ohrozily vnímání AI jako důvěryhodné.

Je tedy zjevné, že od etické teorie k její dobré aplikaci vede dlouhá cesta lemovaná celou řadu výzev a problémů. Věřím ale tomu, že když se budeme soustředit na konkrétní typy AI a domény jejich využívání, dokážeme identifikovat příslušné doménově specifické hodnoty, blíže vymezit význam etických principů v těchto doménách a najít i přijatelná konkrétní pravidla rozhodování. Bude to však vyžadovat soustředěné úsilí a reflexi mezioborových týmů odborníků a také celospolečenskou diskuzi o obavách a očekáváních,
která si s AI spojujeme.

Literatura

Anderson, M., Anderson, S. L. Machine Ethics. Cambridge: Cambridge University Press, 2011.
Blackman, R. Ethical  Machines. Boston, Mass.: Harvard Business Review Press, 2022.
Dignum, V. Responsible Artificial Intelligence. Cham: Springer, 2019.
Floridi, L. The Ethics of Artificial Intelligence. Principles, Challenges, and Opportunities. New York: Oxford University Press, 2023.
Friedman, B., Hendry, D. G. Value Sensitive Design. Cambridge, Mass.: The MIT Press, 2019.
Liao, M. S. (ed.). Ethics of Artificial Intelligence. New York: Oxford Iniversity Press, 2020.
Lin, P., Jenkins, R., Abney, K. (eds.). Robot Ethics 2.0. New York: Oxford University Press, 2017.
Shadbolt, N., Hampson, R. As If Human. Ethics and Artificial Intelligence. New Haven: Yale University Press, 2024.
Taebi, B. Ethics and Engineering. Cambridge: Cambridge University Press, 2021.

---

Původně vyšlo v Proč se nebát umělé inteligence. Jota, Praha 2024. Autoři knihy Proč se nebát umělé inteligence? nabízejí střízlivý a odborně podložený pohled na současný stav a perspektivy umělé inteligence (AI). Čtenář se ve srozumitelné podobě dozví, na jakých technologických základech AI stojí, jaká je její historie a jak probíhá zpracování přirozené řeči ve velkých jazykových modelech. Kniha rovněž ukazuje, jak aplikace AI už dnes slouží v průmyslu, zdravotnictví, robotice či v oblasti kybernetické bezpečnosti a jak konkrétně je možné AI využít například ve státní správě či ve službách. Řada příspěvků je věnována filozofickým úvahám o roli a možnostech umělých strojů, etice a právu při jejich využívání.