Список тезисов на Национальный хирургический конгресс-2024 3 - 4 октября 2024г.
Текст тезиса Большие языковые модели в хирургии: пока на уровне волшебника Изумрудного Города?

Введение. ChatGPT - это неспециализированная большая языковая модель (ЯМ), одна из наиболее популярных неспециализированных нейросетей, созданная при помощи технологий машинного обучения для генерации логически связного текста в ответ на запрос пользователя. Прогнозируется, что роль подобных ЯМ будет увеличиваться в получении информации для клинических исследований, медицинского образования и лечения пациентов. В настоящее время ЯМ набирают популярность как источники актуальной информации по различным медицинским вопросам, особенно среди молодых специалистов. В то же время точность ответов не гарантируется самой нейросетью, а источники информации скрыты от пользователя.   
Цель. Оценить качество рекомендаций ChatGPT 3.5 как инструмента поддержки принятия клинических решений. 
Методы. Нейросети была отведена роль профессионала здравоохранения и затем предложено ответить на 5 распространенных вопросов о лечении паховых грыж. По условиям ChatGPT было предписано использовать только специализированные медицинские базы данных (SCOPUS, PubMED, WoS и др.). Для каждого утверждения были заданы специальные условия обязательного предоставления уровня доказательности и ссылки на литературу.  Качество полученных рекомендаций ChatGPT оценили 14 экспертов в области герниологии и 16 практикующих специалистов по 4-х балльной шкале. Изучалась также корреляция между уровнем оптимизма по отношению к ЯМ участников и выставленными оценками. 
Результаты. Ответы ChatGPT получили низкие оценки от экспертов (2 [1-2] балла) и средние оценки от не экспертов – 2 [2-3] p<0,001. Несмотря на вводные, ЯМ фальсифицировала половину литературных источников, исказила часть реально существующих статей и ошиблась в реальном уровне доказательности в пользу несуществующих. Подавляющее большинство респондентов отметили высокий уровень оптимизма в отношении использования языковых моделей в принятии врачебных решений. Лишь десятая часть респондентов высказалась за ограничение их использования в практической медицине, по этим вопросам отмечена обратная статистически значимая корреляция (R=-0,52, p=0,002). 
Заключение. Это первое исследование, в котором для оценки качества рекомендаций нейросети привлекались специалисты с различным практическим и теоретическим опытом, а также изучалась корреляция между уровнем их оптимизма в отношении технологии и оценочными баллами. Исследование показывает, что «когнитивные предубеждения» (цифровые галлюцинации) являются не редкими. Однако, реальная частота ошибок ЯМ неизвестна и ее трудно установить ввиду непрозрачности механизмов поиска данных нейросетью. 
Современные неспециализированные ЯМ напоминают волшебника Изумрудного Города. Они производят внешнее впечатление могущественного инструмента, но не могут наделить реальными сверхспособностями врачей.
Вывод. Неспециализированные ЯМ в настоящее время не могут быть рекомендованы в качестве единственного или основного источника информации для принятии врачебных решений.