V  akademii  i advokátní firmě se zabýváte právem, které se točí kolem nových technologií. Jaký k nim máte vztah? Nejste kvůli práci paranoidní? 

Snažím se nebýt. Ale dávám si pozor. To znamená, že si rozklikávám nastavení cookies, a když něco instaluju, vždycky alespoň prolétnu podmínky.

Řešíte autonomní auta, software na rozpoznávání tváří, umělou inteligenci. Jak jste se k technologiím dostala? 

Během studia jsem se zabývala lidskými právy, přes která jsem se dostala k právu na soukromí. To bylo tehdy spíš okrajovým tématem. Jen si vzpomeňte, co jsme před deseti lety psali na Facebook. Dávali jsme tam úplně všechno. Postupně si ale lidi začali mnohem víc uvědomovat, jaká všechna data o nich společnosti sbírají, a více se starají o svoje soukromí. Do toho přišlo GDPR, téma se tak dostalo do mainstreamu. Lidi a firmy se začali obracet na právní kanceláře… Z akademického zájmu tak je i komerční praxe.

V akademii  ale pořád zůstáváte, že? 

Ano, pracuju na Akademii věd na částečný úvazek. Myslím, že je prospěšné mít ukotvení jak v právní praxi, tak teorii. Na Oxfordu jsou někteří profesoři čistě v akademické sféře. Jen učí a píšou články. To je u nás výjimečné, i teoretici někde pracují. Když ne ve firmě, tak u soudu, na ministerstvu…

Čemu se vlastně na Ústavu státu a práva věnujete?

Zabývám se tam autonomními vozidly.

To znamená, že řešíte taková ta morální dilemata, jestli jet rovně a přejet pět lidí, nebo uhnout a zabít jen jednoho? 

Ne. Tyto hypotetické příklady jsou podle mě přeceňované. Některé samozřejmě řeší i zajímavé věci. Třeba jestli budou auta egoistická a ochraňovat posádku, nebo spíše altruistická a chránit okolí. Na MIT zase na podobné téma vyvinuli hru Moral Machine. V ní vybíráte, koho byste srazili. Muže, ženu, staršího člověka, zvířata, různé profese. Lidé se mimochodem nejčastěji rozhodli trefit kočky, kriminálníky a potom psy. Ona je to vlastně kulturní otázka. V západním světě se chrání spíše malé děti a ženy, zatímco ve východních kulturách zase staří lidé. Stále to ale jsou hlavně filozofické koncepty a nemyslím si, že by senzory v automobilech v blízké budoucnosti dokázaly rozlišit, jestli je přecházejícímu člověku dvacet, nebo šedesát.

Mám za to, že se tyto otázky jednou prostě rozseknou. Změna trajektorie bude záležet hlavně na tom, jak je objekt daleko, jestli má smysl ještě brzdit… Technické nastavení. Je tam mnoho jiných problémů, které budeme muset vyřešit.

Monika Mareková

Co například? 

Aby autonomní vozidla mohla fungovat, budou muset komunikovat s infrastrukturou. Auto se sice může chovat jen podle toho, co zachytí senzory, ale spoustu dat potřebuje taky ze svého okolí, aby jeho rozhodování bylo spolehlivější. Pokud například uvidí zelenou na semaforu, tak to v některých případech nemusí být příliš spolehlivé. Namísto toho si vymění s křižovatkou informace. Tento typ údajů bude sloužit také k tomu, aby se systém mohl učit, vyvíjet se. Vedle toho budou auta komunikovat i vzájemně, budou s ostatními sdílet varování před nebezpečnými situacemi, překážkami, případně namrzlou vozovkou. Čím víc komunikace, tím budou lepší.

To ale znamená velký zásah do soukromí, které doposud v autech máme. Kdyby vás dnes chtěla sledovat policie a dělat o tom záznam, potřebuje na to povolení státního zástupce. U autonomních vozidel ale bude možné, aby si o vás automobilka vytvořila kompletní obrázek podle toho, kde jste se pohybovali. Ať už pravidelně jezdíte do kostela, gay klubu nebo jste se nachomýtli k protivládním demonstracím. Tohle všechno je zneužitelné a může to ovlivňovat, jak takové auto budete chtít používat. Lidé se obecně chovají jinak, když vědí, že se na ně někdo dívá.

Podle vás tedy automobilky získají informace, které dnes má Facebook, Google? 

Celé je to ještě složitější: k vašim datům se dostane mnoho aktérů. Mobilní operátor, který bude poskytovat připojení k síti, se dostane k lokalizačním údajům. K datům se dostane správce komunikační infrastruktury u silnic, automobilka, poskytovatelé služeb, třeba informaci o dopravě v okolí – i samotná auta mezi sebou musí sdílet data. Za normálních okolností by mohl řidič dát GDPR souhlas o zpracování těchto údajů. Jenže u toho je potřeba vědět, komu přesně ten souhlas dáváte. Což tady nevíte.

Regulace nakládání s těmito osobními údaji se ještě musí vymyslet. Podobně jako s mobilními operátory – na to je evropská směrnice, která stanovuje, že provozní údaje o telefonních hovorech se ukládají jen na určitou dobu a je k nim vymezený přístup. Problém je, že s autonomními vozidly nejde jen o jednoho hráče.

Zpátky k morálním problémům: mluví se o tom, že autonomní vozidla nebudou vnímat, co se děje mimo vozovku. Už jsem zmiňovala ten semafor. Podobně si jako řidič všimnu, že se někdo blíží k přechodu a zpozorním. Aby takhle dopředu dokázalo spolehlivě reagovat i auto, možná by musel mít každý – minimálně cyklisté – na sobě nějaký komunikátor. Systémy autonomních vozidel by pak mohly fungovat perfektně. Potřebovaly by na to ale sledovanou společnost, ve které víme o každém kroku. Když chceme žít svobodně, bez neustálého dozoru, tak to bude složitější vymyslet.

Jak to vůbec vypadá v Česku, máme tady nějaké regulace autonomních aut? 

Na ministerstvu dopravy měla vzniknout etická komise – měla jsem v ní být – ale zatím nebyla jmenována. V Česku legislativa s autonomními auty zatím nepočítá. Nemůžou se proto ani pořádně testovat jako třeba v Německu. Současné systémy fungují jen jako podpora řidiče, na kterém zůstává odpovědnost. Takže vás vozidla se zabudovanými inteligentními systémy každých několik sekund požádají, abyste třeba zahýbali volantem.

Řešili jsme soukromí, právních dilemat nás čeká ale mnohem víc. Třeba ta spojená s haváriemi. Dnes se z nabourání můžete vyvinit tím, že bylo auto kvůli výrobci nebo opravářům ve špatném stavu. Moc dalších možností nemáte. U autonomních aut? Software mohl dostat špatná data. Nebo je špatně vyhodnotil. Nemusel fungovat senzor nebo virtuální navigace. Mohlo jít o kyberútok. Ta zodpovědnost může mít sto různých podob.

Dá se obecně říct, že právo zaostává za technologickým rozvojem? 

Legislativa může zkusit předvídat vývoj, nějak se připravit. Ale obecně reaguje až zpětně na vzniklou situaci. Když se objeví nová technologie, vychází se z už existujícího práva. Máte ochranu spotřebitele, občanský zákoník, ústavu... To může stačit.

Někdy se ale náhledy na právo vyvíjejí s tím, jak se mění technologie. Přesně je to vidět třeba na sledování pomocí GPS. Původně se u takových případů vycházelo z rozhodnutí, které se týkají obyčejných sledovacích zařízení. Jenže GPS vás dokáže sledovat 24 hodin denně po několik měsíců, což umožňuje rozpoznat vzorce vašeho pohybu… Takže bylo nakonec na základě těchto rozdílů potřeba změnit judikaturu.

Já se zabývám takovými technologickými otázkami ve své komerční praxi a každý případ je natolik nový, že ho vždy vlastně musím vymyslet odznovu. Není to jen další převod nemovitosti.

Co říkáte na názor, že by se zbrusu nové technologie příliš regulovat neměly, protože tím brzdíme ekonomiku a zaostaneme za USA a Čínou, kde se regulace tolik neřeší?

Ano, striktnost Evropské unie se občas uvádí jako důvod, proč většina technologických gigantů pochází z USA a Číny. Podle mě je problém spíše v tom, že regulace nejsou i tam. Když zůstaneme u práva na soukromí, jeho porušování není žádné mučení, dlouho ho nijak nepociťujeme. Přitom může fatálně proměnit společnost a politický systém. Když má někdo přístup k našim soukromým volbám, může je posbírat a na jejich základě odhadovat, jak přemýšlí společnost. Jak se vyvíjí. A potom může zkoušet tento vývoj ovlivnit. Servírovat společnosti informace takovým způsobem, aby se ubírala směrem, který si bude přát. Vzpomeňme si na americké prezidentské volby a společnost Cambridge Analytica. Proto si myslím, že je regulace potřebná.

Máte nějakou představu, jakým směrem se ochrana osobních údajů bude vyvíjet? Jak bude vypadat třeba za deset let? 

Co budeme tou dobou řešit? Před deseti lety to byl zejména terorismus a role státu, který ospravedlňoval zásahy do soukromí právě bojem proti možným útokům. Na Facebook jsme se tehdy teprve přidávali a Amazon znali hlavně jako obchod s knihami. Teď se už více řeší tito datoví giganti. Přes ně jsme ale zase zpátky u státu – třeba u ovlivňování voleb. Navíc stát je tady stále: „novým terorismem“ může být třeba koronavir.

Jak to myslíte?

Každé právo na soukromí je vždy vyvažováno na jedné straně veřejnou bezpečností a na druhé soukromím samotným. Teď se třeba zavedlo, že mají operátoři poskytovat mapu pohybu nakaženého člověka, aby mohli hygienici sledovat, s kým se setkal. Pokud s tím člověk souhlasí, v pořádku. Problém by ale nastal, pokud bychom tento postup vykládali jako stav nouze a můžeme se proto podívat do údajů každého nakaženého. Cítíme akutní hrozbu, chráníme proto veřejnou bezpečnost. Nechci to tady vyvažovat oproti lidským životům, to by znělo samozřejmě hloupě, ale taková naše rozhodnutí mohou mít dlouhodobý vliv na celou společnost. A podle mě horší, než co dokáže nějaký útok nebo virus.

Všudypřítomným pojmem se stala umělá inteligence. Máme vůbec právně definované, co to je? 

Když dnes počítač pracuje s jinými než úplně základními algoritmy, tak se mluví o umělé inteligenci. Stala se z toho oblíbená fráze. Zároveň se o tom v právní teorii hodně diskutuje. Objevuje se spousta nápadů, jak umělou inteligenci uchopit. Někdo třeba říká, že bychom třeba měli vycházet z konceptu práv týkajících se zvířat.

Co to znamená? 

Práva robota by hypoteticky mohla být přenesena na osobu, která ho vlastní. Když máte psa a někdo mu ublíží, tak ubližuje i vám. Nebo když váš pes zabije sousedovi slepičku, tak toho člověka musíte odškodnit. Jinými slovy: pokud by robot něco udělal, zodpovědný jste vy.

Mluví se i o konceptu technické osobnosti, která není věcí ani zvířetem. To je ale záležitost, kterou se můžeme zabývat za desítky let. To už se totiž bavíme o robotech, kteří vnímají svoji autonomii, budou se vyvíjet…

Podobně futuristicky zněla technologie na rozpoznávání obličejů. Dnes ale slýcháme, jak s ní experimentuje čím dál víc států. Nejde pouze o Čínu. Jak je na to připraven český právní systém? 

Když mělo být rozpoznávání obličejů použito na českých fotbalových stadionech, zarazil to Úřad pro ochranu osobních údajů. Podle GDPR tyto biometrické údaje jsou zvláštní kategorií osobních údajů, které můžete zpracovávat jen ve velmi výjimečných případech. Například z důvodu významného veřejného zájmu na základě výslovného zmocnění v zákoně, a musí to být přiměřené sledovanému cíli. Úřad na ochranu osobních údajů nezkoumal, zda by užitím technologie rozpoznávání obličejů mohl být vůbec sledován významný veřejný zájem, ale každopádně uzavřel, že neexistuje zákonné zmocnění. Dejme tomu, že by existoval zákon stanovující možnost ochraňovat návštěvníky fotbalových utkání před násilníky technologií rozpoznávání obličejů. V tu chvíli by bylo potřeba posoudit, zda jde o plnění významného veřejného zájmu ochrany veřejného pořádku, zda je tato technologie přiměřená a poskytuje záruky pro ochranu základních práv. Pokud by to tak bylo, tuto technologii byste mohli používat. Když to řešily dánské úřady, rozhodly přesně opačně než české. Kamery jsou podle nich v pořádku, jelikož slouží k ochraně významného veřejného zájmu v podobě bezpečnosti a za zákonné zmocnění k jejich použití na stadionech tamní úřad považoval všeobecnou možnost přijímat opatření k ochraně významného zájmu.

Ještě by šlo nasazení těchto kamer řešit skrze souhlas jednotlivců. Musí jít ale o svobodný souhlas – to znamená, že existuje možnost odmítnout. To by v případě stadionů znamenalo, nechodit tam, což ale není svobodné rozhodnutí. Na něco podobného narazili i ve Francii, kde se měla technologie na rozpoznávání obličejů používat u vstupu do škol právě s tím, že to žáci odsouhlasí. Tamní soudy ale řekly, že to není ani náhodou svobodné, pokud odmítnutí znamená zamezení přístupu do školy.

Ústavní právo ještě čeká otázka, jestli se tyto systémy mohou používat ve veřejném prostoru. To znamená sledování obecně pohybu člověka po městě a skládání mozaiky, kde se celý den pohyboval, co dělal. Tohle ještě není odjudikované, jsou to všechno čerstvé otázky – třeba ono francouzské rozhodnutí je teprve z února.

Umělou inteligenci vnímáme jako spravedlivou, neutrální technologii. Nemůže být ale někdy nefér, pracovat s předsudky? 

Spousta lidí si myslí, že je to pseudoproblém a rozčilují se, proč se tahá třeba gender i do umělé inteligence. Tyto takzvané biasy – zkreslená vnímání – ale umělá inteligence má. Když třeba v metru uvidíte člověka s jinou barvu pleti, můžete automaticky zpozornět. Hned si ale uvědomíte, že vaše reakce nedává smysl. Právě tuto schopnost začít se chovat jinak ale stroj nemá. Pokud se učí poznávat obličeje hlavně podle fotek bělochů, zafixuje se, že takhle vypadá lidská tvář.

Umělá inteligence přitom nemusí být záměrně naprogramovaná diskriminačně. Problém často je, že data, ze kterých se stroje učí, jsou zkreslená. Jeden robot třeba procházel životopisy uchazečů o zaměstnání a po nějaké době se zjistilo, že za lepší kandidáty považoval muže a ženy mnohem častěji vyhazoval. Bylo to tím, že na počátku bylo ve vzorku ukázkově dobrých životopisů více mužů a robot to začal považovat za jedno z důležitých kritérií.

Tomu se ale asi nedá předcházet žádným paragrafem, ne? 

V něčem můžeme vycházet z regulace, která existuje. Třeba že firmy nesmí mít diskriminační výběrová řízení. Obecně je ale potřeba dávat větší důraz na data, ze kterých se systémy učí. Neměli bychom tak reprodukovat nerovnosti a diskriminace současného skutečného prostředí. Vytváříme teď nové systémy, novou společnost. Ta by se mohla zbavit předsudků z minulosti, které nám ztěžují životy, a konečně začít vnímat lidi rovnoprávně.

Publikováno v časopise Finmag duben/květen 2000. Publikace na tomto webu je se souhlasem redakce. Původní článek se nachází zde.

Válka je nepochybně děsivá událost. Musíme však být realisté: války se vedly od úsvitu lidských dějin a je krajně nepravděpodobné, že někdy dosáhneme stavu celosvětového míru. I válka však může vzniknout ze spravedlivého důvodu a je možné ji vést eticky správným způsobem. Jednou z důležitých otázek moderní doby je nasazení moderních technologií, třeba právě válečných dronů. A zvláště pak jeho etické hodnocení. Je totiž nepochybné, že moderní válka se stále více posouvá z boje mezi lidmi na bitevním poli k boji mezi lidmi a stroji, v dnešní době stále ještě ovládanými lidmi (zvláště pokud jde o finální příkaz “střílej”). Jedná se - z morálního hlediska - o pokrok, či spíše o nastolení nových podob neférovosti, zvláště v případě asymetrického konfliktu?

Co říká etika války?

Třeba profesor Statman je přesvědčen, že využívání dronů k cílenému útoku na nepřátelskou infrastrukturu a armádu, ba přímo na vybrané lidské jedince, představuje výrazný morální pokrok. Všichni teoretici spravedlivé války se shodují na tom, že existují dvě základní etická pravidla vedení války. Zaprvé: civilisté se nikdy a za žádných okolností nesmí stát cílem útoku. A zadruhé: pokud se předpokládá, že dojde ke ztrátám na životech civilistů (které se však nijak nezamýšlí), musí pro to existovat dostatečně vážný a úměrný důvod.

Představme si, že cílem útoku je hlavní velitelství nepřátelské armády, které se nachází v okolí obydlí civilistů. Přímý útok na toto velitelství přinese z vojenského hlediska obrovské výhody (zneškodnění hlavního štábu a následná dezorientace nepřátelské armády), nicméně nelze vyloučit, či dokonce lze předpokládat, že při útoku zahynou civilisté. Nejsou-li cílem útoku (což nejsou) a existuje-li úměrný důvodu k útoku (dezorientace celé armády převáží smrt několika civilistů), je útok morálně přípustný.

Vezmeme-li v úvahy tato dvě klíčová etická pravidla vedení války, potom podle Statmana představují drony výrazný pokrok. Umožňují cílenější a přesnější útok než bombardování artilerií či letadly a snižují tak riziko ztrát životů civilistů. Kromě toho také mohou snížit počet mrtvých nepřátelských vojáků, budou-li se zaměřovat pouze na strategické cíle či vyšší důstojníky. Navíc je jasné, že bude-li armáda užívat bojových dronů, bude vystavovat menšímu riziku i své vlastní vojáky. Z etického pohledu je zřejmé, že pokud je možné nějakého výsledku dosáhnout s nižším rizikem újmy, měli bychom tuto variantu zvolit. 

Navzdory těmto výhodám nasazování dronů existují i etické výhrady. Někteří autoři se domnívají, že zabíjet pomocí dronů není fér: oběť útoku vojenského dronu nemá šanci se nějak bránit, nemá velkou naději svého útočníka zastavit a zneškodnit. Pokud bychom ale tuto námitku brali vážně, museli bychom se bránit využívání i jiných vojenských technologií, jejichž nasazení v bojových situacích podobné etické otázky nevzbuzují. Je férové bombardovat nepřítele z letadlové lodi zakotvené kilometry od pevniny? Je férové využívat těžkou artilerii? A je fér, když se vojáci kryjí v obrněných vozidlech či tancích? Kdybychom byli důslední, museli bychom morálně odsoudit jakýkoli konflikt, který není dokonale symetrický, což ke absurdní. Lze snad tvrdit, že když lidé bojovali s meči, byla armáda s delšími a kvalitnějšími meči neférová vůči svým protivníkům?

Jiní autoři své odmítání dronů zakládají na jiné úvaze. Domnívají se, že naprostá většina vojáků nasazených do bojových činností je morálně nevinná (dostali to příkazem apod.), jediné ospravedlnění zabití jiného vojáka proto podle nich spočívá v tom, že mají právo se bránit. Vojáci válku nezačali a často nemají na výběr, pokud je však někdo chce zabít, mohou zabíjet i oni. Je-li tomu ale tak, potom vezmeme-li nějakým vojákům možnost se efektivně bránit a v aktu sebeobrany usmrtit svého protivníka, stane se zabíjení morálně nepřípustným. Je jasné, že když obsluha vojenského dronu sedí v kanceláři daleko od místa boje, nemohou se cíle jejich útoku skutečně bránit tak, že by útočníkům hrozilo to samé, tedy smrt. Tato úvaha by však opět zapovídala jiné široce přijímané a využívané vojenské technologie a postupy. Mají snad vojáci vtrhnout do domu, kde je zabarikádovaný nepřítel a vystavit se nepřátelské palbě, nebo jsou morálně oprávněni hodit do domu nejdříve granáty? Kdybychom tuto námitku vzali vážně, museli bychom zřejmě zakázat snahu o jakoukoli technologickou převahu nad nepřítelem, přinášela-li by nižší riziko újmy a smrti pro vlastní vojáky.

Podíváme-li se na problém nasazování vojenských dronů ve válečných konfliktech nezaujatým pohledem, musíme dojít k závěru, že při respektování pravidel vedení spravedlivé války ji nečiní horší, ale naopak lepší. Nezvyšují utrpení, ale naopak ho snižují, takže z morálního hlediska představují žádoucí pokrok, nikoli nějaký amorální a neférový krok zpět.

Vyšlo v Mladé Frontě 24. 11. 2019