OpenAI'nin Chat-4.0'ı Nöroloji Sınavında İnsan Performansını Geride Bıraktı

Aralık 12, 2023

OpenAI'nin gelişmiş dil modeli Chat-4.0, yapay zeka ve sağlık hizmetlerinin kesişiminde önemli bir ilerleme kaydetti. Yakın zamanda yapılan bir kavram kanıtlama çalışmasında, bu büyük dil modeli (LLM), klinik nöroloji sınavını başarıyla geçerek soruların %85'ini doğru yanıtladı. Bu etkileyici başarı, daha fazla geliştirmeyle LLM programlarının klinik nöroloji alanında önemli bir yer edinebileceğini gösteriyor.

Çığır açan çalışma, Heidelberg Üniversite Hastanesi ve Heidelberg'deki Alman Kanser Araştırma Merkezi'nden gelen bir araştırmacı ekibi tarafından yürütüldü. 7 Aralık'ta yayınlanan sonuçlar, yapay zekanın sağlık hizmetlerini yeniden şekillendirmedeki potansiyelinin altını çiziyor. Uygulanan test Chat-4.0 (Sohbet-XNUMX) Amerikan Psikiyatri ve Nöroloji Kurulu'ndan gelen bir dizi soruyu içeriyordu ve Avrupa Nöroloji Kurulu'ndan bir seçkiyle destekleniyordu.

Chat-4.0, selefinden daha iyi performans gösterdi, Sohbet-3.5, 1,956 sorudan 1,306'sını doğru yanıtlayarak %66.8 puan alan yeni model ise 1,662 soruyu doğru yanıtlayarak %85'lik bir başarı oranına ulaştı. Bunu bir perspektife oturtmak gerekirse, ortalama insan puanı %73.8'dir ve bu da Chat-4.0'ın insan performansını geride bıraktığını göstermektedir. Dahası, %70'in akademide standart geçme puanı olması göz önüne alındığında, Chat-4.0'ın nöroloji sınavını başarıyla geçtiğini söylemek yanlış olmaz.

Ancak çalışma aynı zamanda modellerin gelişebileceği alanları da vurguladı. Örneğin, her iki model de yalnızca "alt düzey düşünme" gerektiren görevlerle karşılaştırıldığında "üst düzey düşünme" gerektiren görevlerde daha zayıf performans gösterdi. Bu, yüksek lisans eğitimlerinin klinik nöroloji alanında ümit verici olmasına rağmen hala iyileştirme için yer olduğunu göstermektedir.

Bu sınırlamalara rağmen, çalışmaya katılan araştırmacılar yüksek lisansların klinik nörolojideki potansiyel uygulamaları konusunda iyimserdir. Araştırmanın yazarlarından Dr. Varun Venkataramani Cointelegraph'a şunları söyledi: "Çalışmamızı daha çok yüksek lisansların yeteneklerine dair bir kavram kanıtı olarak görüyoruz. Hâlâ gelişmeye ihtiyaç var ve hatta muhtemelen LLM'lerin klinik nörolojiye uygun şekilde uygulanabilir hale getirilmesi için özel ince ayarlar yapılması gerekiyor."

Yapay zekanın, AstraZeneca'nın kanser araştırmaları veya Hong Kong'da aşırı antibiyotik reçetelenmesiyle mücadele gibi önemli sağlık hizmetlerinde başarıyla kullanılması, bu teknolojinin potansiyelini ortaya koymaktadır. Chat-4.0'ın nöroloji sınavını geçmede elde ettiği son başarı, yapay zekanın sağlık alanında heyecan verici bir geleceğe işaret ediyor ve yapay zeka destekli tıbbi gelişmelere doğru yolculukta bir adım daha ileri gidiyor.