AI v medicíně: Pozor na ChatGPT, varuje právník
Nástroje umělé inteligence bez zdravotnické certifikace mohou lékaře dostat do vážných právních problémů, varuje prof. JUDr. Radim Polčák, Ph.D., prorektor Masarykovy univerzity a profesor Ústavu práva a technologií Právnické fakulty MU. „Může se stát, že nástroj odpoví relativně přesně – ale takové jednání by bylo v rozporu s řadou právních předpisů a mohlo by mít pro lékaře vážné důsledky,“ říká. Přesto ale technologie vidí jako důležitou budoucnost medicíny: klíčem je získávat zkušenosti v bezpečném prostředí a zavádět jasná pravidla. „Potřebujeme vytvořit základní rámec pro vstup těchto nástrojů na trh a pak jejich použití průběžně sledovat. Stejně, jako je to běžné u léků a zdravotnických prostředků,“ dodává.
- Nástroje s umělou inteligencí se prosazují v medicíně čím dál víc. Zůstávají nějaké otazníky ohledně právní odpovědnosti při jejich použití?
Otazníků rozhodně neubývá – naopak, je jich víc než odpovědí. Nemáme dnes specifickou právní úpravu odpovědnosti pro systémy založené na strojovém učení. Zásadní otázkou zůstává, kdo by měl nést odpovědnost, pokud by takový nástroj způsobil újmu. Výhodou je, že medicína je poměrně silně zregulovaný obor – nové autonomní technologie a strojové učení tak vstupují do prostředí, které už má jasně daná pravidla. I přesto ale zatím není otázka odpovědnosti zcela vyřešena.
- Na co by si měl dát lékař pozor, pokud chce začít ve své praxi používat nástroj s umělou inteligencí?
Lékař by v ideálním případě neměl být touto otázkou příliš zatížen – odpovědnost je především na poskytovateli daného systému nebo na firmě, která zdravotnický prostředek dodává. Lékař by měl být obezřetný hlavně v případech, kdy používá nástroje, které nejsou certifikovány jako zdravotnické prostředky. Tam může být právní riziko výrazně vyšší.
- Je tedy možné tyto necertifikované nástroje používat, ale s vědomím rizik?
Může to být opravdu velmi problematické. Pokud by například lékař nahrál zdravotnickou dokumentaci pacienta do nástroje typu ChatGPT a požádal ho o návrh diagnózy, pak se sice může stát, že nástroj odpoví relativně přesně – ale takové jednání by bylo v rozporu s řadou právních předpisů a mohlo by mít pro lékaře vážné důsledky.
- Soustřeďme se tedy raději na certifikované nástroje využívající umělou inteligenci. Je pro lékaře z právního hlediska bezpečnější se řídit jejich doporučením, nebo dát na svůj odborný úsudek, i když se liší?
Lékař by měl vždy vycházet především ze svého odborného úsudku a být schopen jej obhájit. Z právního hlediska se využití doporučení nástroje s umělou inteligencí dá přirovnat k tomu, když se lékař poradí s kolegou nebo se podívá do odborné literatury. Záleží ale také na typu nástroje. Na kongresu jsme například viděli řešení, která slouží k efektivnější komunikaci s pacientem – v takových případech není riziko velké a odpovědnost leží spíše na poskytovateli nástroje než na lékaři.
- Mohou být právní nejasnosti překážkou zavádění moderních technologií do medicíny?
Mohou – a to nejen pokud jde o otázky vlastní odpovědnosti, ale i kvůli nejistotě ohledně toho, co všechno musí splnit samotný zdravotnický prostředek, aby mohl vstoupit na trh. Na druhou stranu to nemusí být nutně překážka. Důležité je, abychom sbírali zkušenosti – a ty získáme právě v průběhu vývoje nebo třeba během řízeného experimentálního nasazení.
Pokud se nám podaří zprovoznit tzv. sandboxy, tedy regulatorní prostředí s vyšší mírou dohledu ze strany příslušných úřadů, můžeme v nich sbírat data a poznatky, které pak pomohou nastavit pravidla bezpečně a efektivně. Nechceme přece, aby se v tak citlivé oblasti, jakou je zdravotní péče, začaly plošně používat nástroje, u kterých si nejsme jisti jejich bezpečností.
- Kdy podle vás nastane chvíle, kdy už budeme mít po právní stránce jasno o všech aspektech využití umělé inteligence v medicíně?
Nikdy. My právníci budeme vždycky rádi, když nám budou lidé klást otázky – a my na ně budeme moci odpovídat a fakturovat to. Vždycky se objeví nové situace a s nimi nové otázky. Co ale potřebujeme, je vytvořit základní rámec pro vstup těchto nástrojů na trh a pak jejich použití průběžně sledovat. To je mimochodem běžný postup u léků i zdravotnických prostředků – a tady se od něj vlastně nijak neodchylujeme. Jde jen o to, kdy a co se do tohoto mechanismu bude postupně vpouštět.
- Čekáme spíš na další legislativu, nebo na to, jak v praxi dopadnou první spory?
Obecnou legislativu máme. Nyní se čeká na její specifickou implementaci do jednotlivých oblastí, které už mají svou vlastní regulaci. Pokud jde o právní odpovědnost, tam rovněž existuje obecný rámec, ale jeho aplikace bude složitější. Dá se tedy očekávat vznik speciální legislativy upravující odpovědnost autonomních nástrojů. Nepůjde ale o zákony zaměřené výhradně na zdravotnictví – půjde o obecnou úpravu, která se samozřejmě dotkne i zdravotnických prostředků.
- Jak dnes vlastně využívají umělou inteligenci právníci?
V právu se nejčastěji používají nástroje založené na velkých jazykových modelech – právo je jazykový systém, a generativní modely se tak uplatní přirozeně a rychle. V komerční právní praxi se už dnes využívají velmi intenzivně, trénují se i specializované modely a vzniká zcela nový trh právních AI produktů. Pro oblast práva tedy platí, že se zde umělá inteligence začala využívat prakticky okamžitě a ve velké míře.
- Byly s tím spojeny nějaké případy ne zcela vhodného způsobu použití těchto nástrojů?
Samozřejmě, to se stává – a právě proto si medicína nemůže dovolit podobný přístup jako právo. Je znám případ advokáta, který si nechal ChatGPT napsat podání k soudu. To bylo plné tzv. halucinací a citací neexistujících judikátů – a skončilo to pokutou kolem pěti tisíc dolarů. Takové pochybení si ale lékař dovolit nemůže. Pokud udělá chybu kvůli podobnému nástroji, může tím ohrozit zdraví nebo život pacienta. A to je něco, co musíme jednoznačně vyloučit.