Jak ChatGPT odpowiadał na pytania o zdrowie jamy ustnej?

W opinii autorów badania, które przeprowadzono w Jordanii i Kuwejcie, zyskujący coraz większą popularność ChatGPT ma problemy z udzielaniem szczegółowych odpowiedzi na specjalistyczne pytania dotyczące stanu zdrowia jamy ustnej w kontekście palenia.

Zespół badawczy z Jordanii i Kuwejtu zadał ChatowiGPT 500 najczęściej wyszukiwanych pytań dotyczących palenia w kontekście stomatologii i zdrowia jamy ustnej. Pytania podzielono na pięć kategorii: choroby przyzębia, zdrowie zębów, higiena jamy ustnej i świeży oddech, tkanki miękkie jamy ustnej oraz chirurgia stomatologiczna.

Jak podali naukowcy z Bliskiego Wschodu, co piąta odpowiedź ChataGPT została uznana za „mało użyteczną” lub tylko „częściowo użyteczną”. Najczęściej dotyczyły one wyspecjalizowanych zagadnień, takich jak wpływ palenia na przebieg zabiegów z zakresu chirurgii stomatologicznej czy wpływ palenia na stan tkanek miękkich jamy ustnej. Autorzy badania z zespołu kierowanego przez prof. Marwę M. Alnsour z Wydziału Stomatologii Zachowawczej Uniwersytetu Jordańskiego w Ammanie stwierdzili: – Chociaż ChatGPT dobrze radzi sobie z ogólnymi pytaniami, to ma trudności z tematami niszowymi lub bardziej szczegółowymi.

Równowaga między jakością a prostotą odpowiedzi

Odpowiedzi generowane przez ChatGPT uzyskały niskie oceny jeśli chodzi o czytelność wypowiedzi. Poziom zrozumiałości różnił się w zależności od tematu – szczególnie skomplikowane okazały się odpowiedzi dotyczące chirurgii stomatologicznej. Zdaniem autorów świadczy to o trudności w zachowaniu równowagi między jakością a prostotą odpowiedzi i potwierdza konieczność stosowania bardziej przystępnego języka, aby zwiększyć rozumienie informacji.

Pomimo niskiej oceny czytelności, odpowiedzi uzyskały wysokie wyniki pod względem zrozumienia. Oznacza to, że chociaż treść mogła być zbyt złożona, to przekaz był jasny dla odbiorców. Zaznaczono jednak, że poziom zrozumiałości oceniali specjaliści z zakresu ochrony zdrowia, którzy posiadają podstawową wiedzę na omawiane tematy. Autorzy przyznali, że bardziej właściwe mogłoby być zaangażowanie osób bez wykształcenia medycznego, aby ocenić, czy udzielone odpowiedzi były zrozumiałe.

Czy można polegać na ChacieGPT w kwestiach zdrowia jamy ustnej?

Kolejnym wskaźnikiem oceny odpowiedzi ChataGPT była ich przydatność praktyczna (tzw. actionability). Odpowiedzi dotyczące chorób przyzębia uzyskały w tym wypadku najwyższe oceny – były to przydatne porady, takie jak np. wskazówki dotyczące higieny jamy ustnej u palaczy. Jednak oceny różniły się w zależności od tematu, co sugeruje, że niektóre odpowiedzi nie mają wystarczającej wartości praktycznej.

Badacze doszli do wniosku, że ChatGPT może skutecznie wspierać edukację zdrowotną. Za wadę uznali jednak odpowiedzi w formie tekstu – ich zdaniem obrazy i filmy zapewniają lepszą edukację pacjentów i komunikację dotyczącą zdrowia. Uznali też, że w połączeniu z niespójnością wiedzy specjalistycznej, czytelności i użyteczności, ChatGPT ma istotne ograniczenia jako źródło informacji z zakresu zdrowia jamy ustnej. Autorzy podkreślili, że „nie powinien zastępować profesjonalnych porad stomatologicznych”.

Artykuł pt. „Assessing ChatGPT’s suitability in responding to the public’s inquires on the effects of smoking on oral health” został opublikowany 19 lipca w BMC Oral Health.

– Sztuczna inteligencja to gorący temat ostatnich lat. Myślę, że rozwiązania oparte na sztucznej inteligencji przyspieszą i ułatwią pracę lekarzy radiologów, ale w przewidywalnej przyszłości nie dojdzie do pełnego zastąpienia radiologii i radiologów przez programy sztucznej inteligencji – mówi prof. dr hab. n. med. Kazimierz Szopiński – specjalista neurologii, radiologii i diagnostyki obrazowej oraz medycyny nuklearnej, kierownik Zakładu Radiologii Stomatologicznej i Szczękowo-Twarzowej WUM.

Źródła: https://dentistry.co.uk/

https://bmcoralhealth.biomedcentral.com/