ChatGPT-4 tłumaczy ortodoncję lepiej niż ortodonci

Chatboty sztucznej inteligencji, takie jak popularny ChatGPT wersja 4.0, mogą udzielać odpowiedzi na często zadawane pytania pacjentów (FAQ) lepiej niż lekarze ortodonci. Badanie na ten temat zostało opublikowane 25 marca w czasopiśmie naukowym „Journal of the World Federation of Orthodontists”.

Jak wykazali naukowcy z Chin, odpowiedzi generowane przez ChatGPT mogą różnić się od tych udzielanych przez lekarzy ortodontów, ale potencjalnie mogą być one bardziej kompleksowe oraz sformułowane z większą precyzją.

– Konwersacyjna sztuczna inteligencja – ChatGPT-4 – może przewyższać lekarzy ortodontów w udzielaniu odpowiedzi na najczęściej zadawane pytania dotyczące ortodoncji, także przy zastosowaniu języków innych niż angielski – napisali autorzy badania z zespołu kierowanego przez dr Xinlianyi Zhou z Zachodniochińskiego Szpitala Stomatologicznego Uniwersytetu Syczuańskiego w Czengdu (Chiny).

Aby ocenić skuteczność chatbotów AI w odpowiadaniu na pytania pacjentów dotyczące leczenia ortodontycznego, badacze wybrali 30 reprezentatywnych pytań obejmujących cały proces leczenia – w tym 14 dotyczących pierwszej wizyty, 8 związanych z planem leczenia oraz 8 na temat przebiegu leczenia po jego rozpoczęciu.

ChatGPT-4 kontra dwaj lekarze ortodonci

Na każde z 30 pytań odpowiedzi udzielił ChatGPT-4 oraz dwaj ortodonci ze średnio 4-letnim doświadczeniem w tej dziedzinie stomatologii. Następnie czterech ekspertów, posiadających średnio 9 lat praktyki ortodontycznej, niezależnie oceniło jakość trzech odpowiedzi na każde z zadanych pytań.

W badaniu wykazano, że ChatGPT-4 zajął pierwsze miejsce w 61 przypadkach (50,8%) na 120 udzielonych odpowiedzi, drugie w 35 (29,2%) oraz trzecie w 24 (20,0%), uzyskując średnią ocenę 1,69 ± 0,79 – istotnie lepszą niż ortodonta A (2,23 ± 0,79, p < 0,001) oraz ortodonta B (2,08 ± 0,79, p < 0,05). Współczynnik korelacji rang Spearmana pomiędzy średnią oceną ChataGPT-4 a zgodnością ocen ekspertów wyniósł 0,69 (p < 0,001), co wskazuje na silną dodatnią korelację.

Baza chatbota nie dość aktualna?

Zgodnie z wynikami badania, ChatGPT-4 najlepiej radzi sobie z pytaniami, które w środowisku ortodontycznym nie budzą kontrowersji, tzn. istnieje duża zgodność opinii lekarzy, natomiast więcej trudności ma z problematyką, która jest bardziej dyskusyjna. Badacze zwrócili też uwagę, że odpowiedzi udzielane przez chatbota na pytania dotyczące leczenia nakładkowego cechowały się mniejszą dokładnością, co podkreśla jego ograniczenia w przekazywaniu aktualnych i precyzyjnych informacji.

– Użytkownicy powinni pamiętać, że sztuczna inteligencja pełni jedynie funkcję narzędzia wspomagającego i nie należy polegać na niej w nadmiernym stopniu – napisali autorzy pracy pt. „Performance in answering orthodontic patients' frequently asked questions: Conversational artificial intelligence versus orthodontists”.

– Sztuczna inteligencja to gorący temat ostatnich lat. Myślę, że rozwiązania oparte na sztucznej inteligencji przyspieszą i ułatwią pracę lekarzy radiologów, ale w przewidywalnej przyszłości nie dojdzie do pełnego zastąpienia radiologii i radiologów przez programy sztucznej inteligencji – mówi prof. dr hab. n. med. Kazimierz Szopiński – specjalista neurologii, radiologii i diagnostyki obrazowej oraz medycyny nuklearnej, kierownik Zakładu Radiologii Stomatologicznej i Szczękowo-Twarzowej WUM.

Źródła: https://dentistry.co.uk/

https://pubmed.ncbi.nlm.nih.gov/