[Перевод] Дерматолог проверил GPT-6 Astra и Claude на 200 образованиях кожи: CNN 2015 года точнее
Dermatologist Magnus Lynch tested GPT-6 Astra, Claude Fable 5.1 and a fine-tuned 2015 Inception v3 convolutional network on 200 skin lesions with biopsy-confirmed diagnoses. The CNN got 125 of 200 correct among six options, or 62%, while the two LLMs got 84 and 85, or 42%. For a melanoma on the ear, both LLMs identified it as harmless seborrheic keratosis and suggested discharging the patient.
Дерматолог Магнус Линч взял 200 кожных образований с подтверждённым биопсией диагнозом и показал их GPT-6 Astra, Claude Fable 5.1 и дообученной свёрточной сети Inception v3 2015 года. Правильный диагноз из шести вариантов: CNN — 125 из 200 (62%), обе LLM — 84 и 85 (42%). Меланому на ухе обе LLM приняли за безобидный себорейный кератоз и предложили отпустить пациента. В переводе — методика, результаты по каждому диагнозу, разные типы ошибок у моделей и оговорки автора: от размера выборки до того, сколько меланом отпустила бы сама CNN при заданном заранее пороге. Читать далее