ChatGPT 4.0 „zdał” egzaminy stomatologiczne w USA i UK
Z badania przeprowadzonego przez naukowców z Hongkongu wynika, że ChatGPT 4.0 uzyskał wystarczający odsetek poprawnych odpowiedzi, by zdobyć prawo wykonywania zawodu lekarza stomatologa w Stanach Zjednoczonych i Wielkiej Brytanii. W przypadku USA było to 80,7% prawidłowych odpowiedzi, w przypadku Zjednoczonego Królestwa – 62,7%.
Jak podali naukowcy z Uniwersytetu w Hongkongu, do tej pory nie było jasne, na ile kompetentne są duże modele językowe (LLM) oparte na sztucznej inteligencji generatywnej (GenAI) w interpretowaniu pisemnych danych oraz udzielaniu precyzyjnych odpowiedzi w stomatologii. Celem prowadzonego badania było określenie dokładności, z jaką GenAI odpowiada na pytania z egzaminów na licencję lekarza stomatologa w USA i na Wyspach Brytyjskich.
ChatGPT 3.5 nie dość zaawansowany, by zdać egzaminy
W tym celu badacze z Hongkongu do dwóch wersji: ChatGPT 3.5 oraz ChatGPT 4.0 wprowadzili 1461 pytań wielokrotnego wyboru z egzaminów licencyjnych w USA i Wielkiej Brytanii. Następnie przeanalizowali i porównali wyniki poszczególnych egzaminów.
W badaniu wykazano, że ChatGPT 3.5 odpowiedział poprawnie na 68,3% (n = 509) oraz 43,3% (n = 296) pytań na egzaminach licencyjnych w Stanach Zjednoczonych i Wielkiej Brytanii. Z kolei wyniki, jakie uzyskał ChatGPT 4.0 były znacząco wyższe: odpowiednio 80,7% (n = 601) i 62,7% (n = 429). Oznacza to, że ChatGPT 4.0 zdałby obydwa pisemne egzaminy licencyjne, podczas gdy jego starsza wersja uzyskała wyniki, które nie zapewniają zdobycia prawa wykonywania zawodu w obu państwach.
GenAI pomocny w komunikacji dentysty z pacjentem i szkoleniu stomatologów
Mimo sukcesu sztucznej inteligencji, wnioski autorów badania są ostrożne. Nowsza wersja GenAI dowiodła, że potrafi udzielać trafnych odpowiedzi na pytania wielokrotnego wyboru z pisemnych egzaminów stomatologicznych, ale badacze zastrzegają, że wynik ten nie musi być równie dobry w każdym przypadku. Zdaniem naukowców z Hongkongu AI wymaga dalszego ulepszenia, niemniej jest bardzo prawdopodobne, że wykorzystanie GenAI w stomatologii będzie miało znaczący wpływ na komunikację lekarza dentysty z pacjentem, a także szkolenie stomatologów.
W rozmowie z „Dental Tribune International” główny autor artykułu dr Walter Yu-Hang, adiunkt kliniczny protetyki na Uniwersytecie w Hongkongu, powiedział: – Obecna sytuacja jest podobna do tej z lat 90. XX wieku, kiedy Internet stał się powszechnie dostępny, a ludzie zaczęli uzyskiwać informacje za pomocą wyszukiwarek. Różnica polega na tym, że korzystając z chatbotów użytkownicy nie muszą już znać odpowiedniego słowa kluczowego, jak jest to wymagane w przypadku wyszukiwarek. Ponadto chatboty podsumowują dostępne informacje udzielając zwięzłych odpowiedzi, a użytkownicy nie muszą interpretować wielu informacji z Internetu.
Dr Hang przekonuje, że wraz z dalszym postępem w algorytmach sztucznej inteligencji i rozbudową wykorzystywanej bazy danych dokładność odpowiedzi będzie się wciąż poprawiać. Przewidywania naukowca z Hongkongu mogą się wkrótce potwierdzić – zgodnie z deklaracjami producenta OpenAI, latem tego roku dostępna będzie nowa, „znacznie potężniejsza” wersja GPT-5.0.
Badanie pt. „Performance of Generative Artificial Intelligence in Dental Licensing Examinations” zostało opublikowane w czasopiśmie naukowym „International Dental Journal”.
T.H.
Źródła: https://www.zm-online.de/
