Нейросеть 2015 года обошла GPT-6 и Claude в диагностике рака кожи. GPT-6 приняла почти половину меланом за другой рак
Британский дерматолог Магнус Линч из лондонской больницы Guy's устроил экзамен двум самым свежим нейросетям – GPT-6 Astra от OpenAI и Claude Fable 5.1 от Anthropic. Им показали 200 образований на коже, у каждого из которых диагноз подтвердила биопсия, и попросили выбрать один из шести вариантов: меланома, базалиома, плоскоклеточный рак, актинический кератоз, обычная родинка или себорейный кератоз. Соперником выступила сверточная нейросеть Inception v3 – архитектура 2015 года, которую Линч дообучил на 68 тысячах снимков кожи на одной видеокарте. Результаты он опубликовал на сайте своей лаборатории.
Старая узкая модель победила с заметным отрывом. Правильный диагноз с первой попытки она поставила в 125 случаях из 200, то есть в 62%. GPT-6 Astra и Claude угадали по 42% – 84 и 85 ответов. С меланомой, самым опасным раком кожи, плохо было у всех: из 30 случаев старая нейросеть узнала 13, Claude – 11, GPT-6 – только 8.
У больших моделей нашлись свои "любимые" диагнозы. GPT-6 Astra почти везде видела базалиому: так она назвала 75 образований из 200, включая 14 меланом из 30. Claude тяготел к актиническому кератозу – 53 таких ответа. Зато GPT-6 узнала все 25 базалиом без единой ошибки. А крошечную меланому толщиной меньше 0,8 мм она с уверенностью 95% записала в базалиомы – Claude и старая нейросеть ее распознали.
Важная оговорка: опасное образование большие модели почти никогда не отпускали. Из 100 случаев, которые нужно показывать врачу, GPT-6 оставила под наблюдением 97, Claude – 96. Но перестраховывались они с размахом: из 100 безобидных родинок и кератозов GPT-6 разрешила спокойно отпустить только 32, а Claude – 22. Старая нейросеть с настройками по умолчанию ошибалась в другую сторону и отпустила бы 18 меланом из 30. Когда Линч подкрутил порог до той же осторожности, что у чат-ботов, она пропускала одну-две.
Линч проверил и сценарий обычного пациента: показал моделям только фото с телефона и спросил, идти ли к врачу. Обе нейросети советовали показаться почти в каждом случае, в том числе с безобидными пятнами. На отдельной сотне подтвержденных меланом GPT-6 и Claude отправили к врачу 98–99 человек из 100.
Слабые места автор перечисляет сам. Выборка небольшая, каждую модель прогнали один раз, а набор снимков MILK10k лежит в открытом доступе с 2025 года, так что большие модели могли видеть его при обучении. Старая нейросеть – тоже не вершина медицинского ИИ: современные специализированные системы сильнее. Забавная деталь: с анализом и черновиками Линчу помогал Claude Code – продукт той же Anthropic, чья модель проиграла. Вывод у дерматолога простой: узкая модель, обученная на снимках кожи, разбирается в родинках лучше универсальных чат-ботов, а их сильная сторона – осторожность, а не диагноз.
P.S. Где нейросетям в медицине можно доверять, а где лучше перепроверить у врача, рассказываю в телеграм-канале "Сбежавшая нейросеть".





