Chat-4.0 firmy OpenAI przewyższa ludzkie wyniki w egzaminie z neurologii

Grudnia 12, 2023

Zaawansowany model językowy OpenAI, Chat-4.0, poczynił znaczący krok naprzód na styku sztucznej inteligencji i opieki zdrowotnej. W niedawnym badaniu typu proof-of-concept, ten duży model językowy (LLM) pomyślnie zdał egzamin z neurologii klinicznej, odpowiadając poprawnie na 85% pytań. To imponujące osiągnięcie sugeruje, że dzięki dalszym udoskonaleniom, LLM może wyrobić sobie znaczącą niszę w dziedzinie neurologii klinicznej.

Przełomowe badanie przeprowadził zespół naukowców ze Szpitala Uniwersyteckiego w Heidelbergu i Niemieckiego Centrum Badań nad Rakiem w Heidelbergu. Wyniki opublikowane 7 grudnia podkreślają potencjał sztucznej inteligencji w przekształcaniu opieki zdrowotnej. Test przeprowadzony dla Czat-4.0 zawierał zestaw pytań Amerykańskiej Rady Psychiatrii i Neurologii, uzupełniony wyborem z Europejskiej Rady Neurologii.

Chat-4.0 przewyższył swojego poprzednika, Czat-3.5, który odpowiedział poprawnie na 1,306 z 1,956 pytań, uzyskując wynik 66.8%. Nowszy model odnotował jednak sukces, odpowiadając poprawnie na 1,662 pytania, co daje 85% skuteczności. Dla porównania, średni wynik ludzki wynosi 73.8%, co oznacza, że ​​Chat-4.0 przewyższył możliwości człowieka. Co więcej, biorąc pod uwagę, że standardowy wynik zaliczenia w środowisku akademickim wynosi 70%, można śmiało powiedzieć, że Chat-4.0 pomyślnie zdał egzamin z neurologii.

W badaniu wskazano jednak również obszary, w których modele można ulepszyć. Na przykład oba modele wykazały słabszą wydajność w zadaniach wymagających „myślenia wyższego rzędu” w porównaniu z zadaniami wymagającymi jedynie „myślenia niższego rzędu”. Wskazuje to, że chociaż programy LLM są obiecujące w dziedzinie neurologii klinicznej, nadal istnieje pole do poprawy.

Pomimo tych ograniczeń badacze biorący udział w badaniu optymistycznie oceniają potencjalne zastosowania LLM w neurologii klinicznej. Doktor Varun Venkataramani, jeden z autorów badania, wyjaśnił Cointelegraph: „Postrzegamy nasze badanie bardziej jako dowód słuszności koncepcji możliwości LLM. Nadal potrzebny jest rozwój, a prawdopodobnie nawet specyficzne dostrojenie LLM, aby zapewnić ich właściwe zastosowanie w neurologii klinicznej”.

Skuteczne wykorzystanie sztucznej inteligencji w ważnych zadaniach opieki zdrowotnej, takich jak badania nad rakiem prowadzone przez AstraZeneca czy walka z nadmiernym przepisywaniem antybiotyków w Hongkongu, podkreśla potencjał tej technologii. Niedawne osiągnięcie Chat-4.0 w zakresie zdania egzaminu neurologicznego zwiastuje ekscytującą przyszłość sztucznej inteligencji w opiece zdrowotnej, stanowiąc kolejny krok naprzód w drodze do rozwoju medycyny opartej na sztucznej inteligencji.