Kanada: systemy AI wspierające lekarzy „halucynują”

Systemy sztucznej inteligencji wykorzystywane przez lekarzy rodzinnych w kanadyjskiej prowincji Ontario do tworzenia dokumentacji medycznej mogą generować nieprawdziwe informacje, pomijać kluczowe dane dotyczące pacjentów i proponować leczenie, którego lekarz nigdy nie zalecił – wynika z raportu Biura Audytora Generalnego, odpowiednika polskiego NIK-u. Ustalenia wywołały dyskusję o bezpieczeństwie wdrażania narzędzi AI w ochronie zdrowia.

W 2023 r. Ontario Health rozpoczęło wdrażanie programów typu AI Scribe – automatycznie tworzących notatki i dokumentację na podstawie głosu, nagrań lub obrazu – w sektorze ochrony zdrowia. Z rozwiązań tych mogą korzystać lekarze, pielęgniarki oraz terapeuci.

Jak działa taki system? Po uzyskaniu zgody pacjenta AI nasłuchuje przebiegu wizyty i automatycznie tworzy tzw. notatkę SOAP – standardowy zapis medyczny obejmujący informacje subiektywne, obiektywne, ocenę stanu pacjenta oraz plan leczenia.

Narzędzie miało przede wszystkim ograniczyć obciążenie administracyjne personelu medycznego i skrócić czas poświęcany na dokumentację. Jednak – jak wynika ze specjalnego raportu opublikowanego kilka dni temu przez audytor generalną Ontario Shelley Spence – systemy „nie zostały odpowiednio ocenione”, a część z nich „fabrykowała informacje” oraz proponowała leczenie, które nigdy nie było omawiane podczas wizyty.

– Nieścisłości w notatkach medycznych generowanych przez systemy AI Scribe mogą potencjalnie prowadzić do niewłaściwych lub szkodliwych planów leczenia, co może wpływać na wyniki zdrowotne pacjentów – podkreślono w raporcie.

– Kluczowe jest testowanie systemów AI Scribe w celu zapewnienia jakości generowanych notatek i minimalizacji błędów – dodano.

Błędne leki, brak danych o zdrowiu psychicznym

Biuro Audytora Generalnego przeanalizowało proces przetargowy prowadzony przez Supply Ontario przy wyborze dostawców systemów AI Scribe. Potencjalni wykonawcy otrzymali dwa symulowane scenariusze wizyt lekarskich do transkrypcji i opracowania dokumentacji.

Wyniki testów okazały się niepokojące:

• 45% systemów AI Scribe generowało informacje, których nie było w nagraniach oraz sugerowało dodatkowe elementy leczenia, takie jak skierowanie na terapię czy zlecenie badań krwi,
• 60% systemów błędnie identyfikowało leki przepisywane pacjentom,
• 85% rozwiązań pominęło istotne informacje dotyczące zdrowia psychicznego pacjentów przynajmniej w jednym z dwóch testów.

Według audytu co najmniej pięciu z 20 zatwierdzonych dostawców nie przedstawiło wymaganych raportów dotyczących ryzyka i ochrony prywatności, mimo że ich systemy zostały dopuszczone do dalszego procesu.

Dodatkowo Supply Ontario nie wymagało od dostawców prezentacji działania systemów „na żywo” przed komisją oceniającą ani kompleksowej oceny strategii ograniczania ryzyka błędów.

Rząd uspokaja, eksperci apelują o większe zabezpieczenia

Minister usług i zamówień publicznych Ontario Stephen Crawford zapewniał, że tzw. „halucynacje” AI występowały wyłącznie na etapie testów i szkoleń, a nie podczas rzeczywistych wizyt pacjentów. – To zasadniczo etap szkoleniowy, podczas którego sprawdzamy, czy dany system będzie wykorzystywany w praktyce – powiedział dziennikarzom i dodał, że po wykryciu problemów wprowadzono odpowiednie modyfikacje systemów.

Audytor Shelley Spence ma jednak odmienne zdanie. Jak przyznała, sama podczas niedawnej wizyty poprosiła lekarza o dokładne sprawdzenie notatek wygenerowanych przez AI. – Byłam ostatnio u lekarza i używano tam systemu AI Scribe – powiedziała. – Wspomniałam wtedy „Proszę sprawdzić transkrypcję po zakończeniu mojej wizyty”. Te systemy są już wykorzystywane – dodała.

Audytor generalna zaznaczyła jednocześnie, że sztuczna inteligencja może w przyszłości poprawić efektywność świadczenia usług medycznych, jednak wymaga ostrożnego wdrażania i dodatkowych zabezpieczeń. – Uważam, że choć na razie jest to problematyczne, to jednak AI to narzędzie, które może zwiększyć efektywność i usprawnić świadczenie usług. Potrzeba natomiast wiele małych kroków, aby doprowadzić te rozwiązania do naprawdę wysokiego poziomu – podkreśliła.

Supply Ontario zadeklarowało wdrożenie większości rekomendacji zawartych w raporcie, w tym obowiązkowych testów stronniczości systemów AI oraz rozważenie prezentacji działania narzędzi na żywo przed ich wdrożeniem do systemu ochrony zdrowia.

Źródło: https://globalnews.ca/

– Sztuczna inteligencja to gorący temat ostatnich lat. Myślę, że rozwiązania oparte na sztucznej inteligencji przyspieszą i ułatwią pracę lekarzy radiologów, ale w przewidywalnej przyszłości nie dojdzie do pełnego zastąpienia radiologii i radiologów przez programy sztucznej inteligencji – mówi prof. dr hab. n. med. Kazimierz Szopiński – specjalista neurologii, radiologii i diagnostyki obrazowej oraz medycyny nuklearnej, kierownik Zakładu Radiologii Stomatologicznej i Szczękowo-Twarzowej WUM.