Když přes stromy regulí není vidět les
Nové technologie mají potenciál nás přechytračit. Nikoli checklisty, ale schopnost rozeznat nuance a klást přesné otázky budou právě tou dovedností, která nás od případných nezbedníků ochrání.
Tři renomované zdravotní agentury anglofonního západního světa – americká FDA, Health Canada a britská MHRA – vydaly jakési doporučení, jaké principy by vývoj a uplatnění umělé inteligence v medicíně měly následovat. Podívejme se na ně v souvislostech.
Yuval Noah Harrari, historik a světoznámý autor knih jako Sapiens, stručná historie lidstva, varuje před „hacknutím“ člověka. Co tím myslí? Nejrůznější služby a uživatelská rozhraní již dnes sbírají data o našem chování a preferencích. Zpracovávají je algoritmy umělé inteligence. Tyto poznatky mají dnes cenu větší zlata. Jsou zdrojem astronomických výdělků.
Zatím jde o informace o obecném chování. Na co a jak dlouho se díváme, kterým zdrojům na internetu se věnujeme, s kým jsme propojeni a tak. V posledních letech je stále více v módě, z důvodu zdravého životního stylu, si nechat monitorovat biometrická data: tepovou frekvenci, krevní tlak nebo kožní impedanci (elektrický odpor na povrchu těla). Jak upozorňuje Harrari, nebude to dlouho trvat a technologie budou moci sledovat, vyhodnocovat naši fyziologickou reakci, ale i ovlivňovat člověka na základě údajů z jeho organismu bez toho, aby o tom věděl.
Tím jen podpořil dřímající obavu z jakéhosi scénáře „hrnečku, vař“, že se nám umělá inteligence, neboli učící se stroje, nějak vymkne zpod kontroly a bude si s námi dělat, co chce.
Je namístě otázka, zda kroky, které odborné instituce podnikají, jsou s to nás efektivně ochránit v této nové partii se stroji, které se učí. Zmiňované doporučení – správná praxe učících se strojů pro zdravotnické technologie – je kompilát z regulativy zdravotnických prostředků, ochrany dat, s rysy v EU chystané regulace umělé inteligence (AI) s příměsí genderové a rasové vyváženosti. Je to jakási druhá derivace již existujících úprav ve zmíněných oblastech.
Kupříkladu: nařízení EU o zdravotnických prostředcích č. 2017/745 v úvodních odstavcích tvrdí, že představuje „robustní, transparentní, předvídatelný a udržitelný rámec… zaručující vysokou míru bezpečnosti a zdraví, zatímco podporuje inovace… přitom bere na zřetel malé a střední výrobce“. Vzhledem k tomu, že se kvůli nařízení násobně zvýšila pracnost a nákladnost, jak dostat výrobek na trh, to je kvadratura kruhu. Zjednodušeně řečeno, nejbezpečnější zdravotnický prostředek je ten, co se k pacientovi ani nedostane. Efekt regulace je v příkrém rozporu s deklarovaným záměrem, co má přinést. Především v oblasti dostupnosti a rychlosti inovací přicházejících na trh.
Pokud „systém“ nebyl schopen eliminovat technologie, které ani nepotřebují umělou inteligenci na to, aby prodávaly pacientům nesmysly odporující fyzikálním zákonům (biorezonance, magnetoterapie atd.), tak jak se chce ubránit postupnému pronikání technologií, které mají ještě k tomu schopnost se učit?
Zvláště v oblasti IT může být rozpor mezi původním účelem, zamýšlenou ochranou a výsledným efektem propastný. Při sledování webových stránek se do našeho počítače dostávají drobné řetězce strojového kódu, tzv. sušenky (cookies), které provozovateli sledovaných stránek umožňují evidovat nás, čtenáře. Podle toho pak provozovatel usiluje o přizpůsobení obsahu pro nás anebo mu cookies pomáhají přicházet jeho čtenářům na kobylku. Velmi zjednodušeně. V rámci boje o ochranu soukromí a vůbec toho, jestli cookies při sledování přijmeme, nám téměř na každé stránce vyskočí právnický text o tom, co vlastně provozovateli umožňujeme, když cookies přijmeme. Tato informace je pro běžného uživatele v podstatě nekonzumovatelná. Nikdo ji nečte, regulátor je spokojen, provozovatel stránek i návštěvník musejí provést jeden krok navíc a jsme asi tam, kde předtím. Asi nejlepší způsob, jak při prohlížení nějaké webové stránky ochránit svoje soukromí, je tuto stránku vůbec neprohlížet.
Doporučení o AI a strojovém učení ve zdravotnictví obsahuje požadavky na nezávislost datových souborů, multidisciplinaritu, „správnou inženýrskou a bezpečnostní praxi“, ať už to znamená cokoli. Asi projevem nové budoucnosti je pak požadavek na učící se technologie, aby datové sady, se kterými se bude pracovat, byly reprezentativní k populaci, na kterou se bude cílit – datové protokoly by měly zahrnout relevantní charakteristiky co do stáří, genderu, pohlaví, rasy a etnicity.
Závěrem: podobně jako mnoho jiných moderních regulací života společnosti obecně a medicíny zvláště, jeden se nezbaví dojmu, že i medicínské AI a učící se technologie dostaly opět svůj kontrolní seznam (checklist), který si můžeme odškrtávat, zda je vše „podle pravidel“. Nasadili jsme další stromy, přes které bude o to hůře vidět les. Bude zas o kousek těžší se zaměřit na to podstatné, komu nová (učící se) technologie prospívá, jak a proč. Mám za to, že nové technologie, nejen v medicíně, mají potenciál nás přechytračit. Na rozdíl od seznamů, schopnost rozeznat nuance a klást přímé a přesné otázky bude právě tou dovedností, která nás od případných nezbedníků ochrání lépe než další checklisty.
K VĚCI...
Legislativa pro umělou inteligenci ve zdravotnictví
Americká FDA spolu s kanadskou a britskou agenturou vydaly 10 hlavních zásad pro rozvoj správné praxe strojového učení (Good Machine Learning Practice, GMLP). Dokument mimo jiné klade důraz na reprezentativnost vzorku, na kterém se umělá inteligence učí, vzhledem k populaci, u které bude využívána. Nebo na to, že tréninkové datové sady musejí být nezávislé na testovacích datech.
Regulátoři se v posledních letech zabývají tématem umělé inteligence ve zdravotnictví stále více. A to jak ve Spojených státech, tak i v Evropě.
V roce 2019 vydala Koordinační skupina pro zdravotnické prostředky při Evropské komisi dokument, ve kterém popisuje, jaký software je nutné považovat za zdravotnický prostředek, a musí tedy před uvedením na trh prokázat shodu s požadavky na zdravotnické prostředky. Kromě regulace zdravotnických prostředků může dopadnout na umělou inteligenci ve zdravotnictví také připravovaná legislativa, která v Evropě stanoví podmínky pro použití rizikové umělé inteligence obecně a která je v procesu definitivního schvalování. Takzvaný akt o umělé inteligenci má být po schválení začleněn do odvětvových předpisů, které se týkají vysoce rizikových systémů umělé inteligence, včetně zdravotnických prostředků.
FDA už povolila řadu zdravotnických prostředků s umělou inteligencí, také na evropském trhu už jsou systémy umělé inteligence, které jsou schválenými zdravotnickými prostředky. Pro zdravotnické prostředky, které využívají umělou inteligenci, ovšem platí určitá specifika. Kvůli nim se mluví o zvláštní úpravě umělé inteligence ve zdravotnictví. Zejména se jedná o problém se schválením systému, který se nadále i po uvedení na trh učí a vyvíjí. Zásadní je zajištění transparentnosti a kvality. Například americká FDA v případě, že se algoritmus výrazně mění, dosud vyžaduje nové posouzení zdravotnického prostředku.
MUDr. Miroslav Palát, MBA,
prezident asociace CzechMed, člen představenstva Svazu průmyslu a dopravy ČR