Бот с искусственным интеллектом, ChatGPT, в очередной раз потерпела неудачу в сложной сфере медицинской диагностики. В недавнем исследовании, опубликованном в журнале JAMA Pediatrics, было обнаружено, что четвертая итерация этой языковой модели искусственного интеллекта не справилась с тревожным уровнем ошибок в 83% при диагностике педиатрических случаев.
В прошлом году, ChatGPTПроизводительность компании в диагностике сложных медицинских случаев была неудовлетворительной: точность составила всего 39%. Однако последнее исследование показывает, что его эффективность падает еще ниже, когда дело касается педиатрических случаев: бот с искусственным интеллектом правильно диагностирует только 17% из них. Эти ошеломляющие результаты подчеркивают незаменимую ценность человеческого клинического опыта и развеивают преждевременные опасения по поводу замены педиатров искусственным интеллектом.
Результаты не только подчеркивают критические недостатки в ChatGPTдиагностические возможности, но также проливают свет на потенциальные пути превращения его в более эффективный инструмент в клинических условиях. Несмотря на эти недостатки, интеграция чат-ботов с искусственным интеллектом в здравоохранение рассматривается многими врачами как неизбежная, учитывая значительный интерес и экспериментирование с такими технологиями.
ИИ нашел применение в различных аспектах медицины: от автоматизации административных задач до помощи в интерпретации сканирований грудной клетки и изображений сетчатки. Однако это также было связано с заметными неудачами, включая сохранение алгоритмической расовой предвзятости. Потенциал ИИ в решении проблем вызвал значительный интерес к его использованию для комплексной диагностики, устраняя необходимость в причудливом и гениальном медицинском профессионале.
Исследование, проведенное исследователями Детского медицинского центра Коэна в Нью-Йорке, подчеркнуло, что ChatGPT-4 не предназначен для педиатрической диагностики. В педиатрических случаях необходимо внимательно учитывать возраст пациента — аспект, который ИИ часто упускает из виду. Кроме того, дополнительная проблема возникает при диагностике заболеваний у младенцев и маленьких детей, которые не могут сформулировать свои симптомы.
Исследователи протестировали ChatGPT против 100 педиатрических случаев, опубликованных в журналах JAMA Pediatrics и NEJM с 2013 по 2023 год. Эти случаи, представленные в виде викторин или задач, предлагают врачам диагностировать сложные или необычные состояния на основе информации лечащих врачей на тот момент.
В ходе теста исследователи вводили соответствующий текст из медицинских случаев в ChatGPT, а два квалифицированных врача-исследователя оценили ответы, сгенерированные ИИ. Результаты оказались неутешительными: ChatGPT правильно поставил диагноз только в 17 из 100 случаев, поставил неправильный диагноз в 72 случаях и недостаточно уловил диагноз в остальных 11 случаях.
Среди ошибочно диагностированных случаев бот с искусственным интеллектом часто выявлял связанное, но слишком широкое или неспецифическое состояние. Например, у одного ребенка было диагностировано состояние кисты жаберной щели, тогда как правильным диагнозом был бранхио-ото-ренальный синдром — генетическое заболевание, вызывающее аномальное развитие тканей шеи, а также пороки развития уха и почек.
Исследование также показало, что ChatGPT ему было трудно распознать известные связи между состояниями — способность, которой обычно обладают опытные врачи. Ему не удалось связать аутизм со цингой (дефицитом витамина С), несмотря на известную связь между психоневрологическими состояниями, такими как аутизм, ограничительными диетами и последующим дефицитом витаминов.
В заключение, хотя ИИ имеет огромный потенциал в здравоохранении, ChatGPTВысокий уровень ошибок при диагностике педиатрических случаев подчеркивает важность человеческого опыта в сложной медицинской диагностике.