2015 年的 Inception v3 在皮肤癌诊断上击败 GPT-6 Astra 与 Claude Fable 5.1：200 例活检病变实测，数据与提示词全公开
皮肤科医生 Magnus Lynch 公开实测：200 例活检病变上 2015 年的 Inception v3 诊断 62% 对 42%，压过两个前沿大模型。
2026 年 10 月 25 日，Guy’s Hospital 皮肤科与 Mohs 手术顾问医生 Magnus Lynch 在 LynchLab 发布了一组对照测试：200 例经活检证实的皮肤病变，同时交给 GPT-6 Astra、Claude Fable 5.1 和一个 2015 年发表、在 68,011 张 ISIC 皮肤图像上微调的 Inception v3。按他公布的结果表，Inception v3 六分类首选诊断命中 125/200（62%），两个大模型分别为 84 和 85（42%）。病例、提示词、全部模型回复与打分脚本打包公开，读者可以下载重算。
要点
- 结果：Inception v3 六分类首选 125/200（62%），GPT-6 Astra 84（42%）、Claude Fable 5.1 85（42%）；30 例黑色素瘤的首选诊断，CNN 13 例、Claude 11 例、GPT-6 8 例。
- 放行安全：按各自预设阈值，CNN 放行了 30 例黑色素瘤中的 18 例，比 LLM 的 3 例和 4 例更危险；把 CNN 的阈值对齐到 LLM 的敏感度后，它只放行 1–2 例黑色素瘤、保留 98–99/100 例不可放行病变。
- 可核验：200 例病例、提示词、每条 LLM 回复与打分脚本打包下载，数据集 MILK10k 有 DOI（10.34970/648456）；CNN 小到能在手机浏览器里用 WebGPU 本地运行。
背景
这次对比有前后两版。2026 年 10 月 11 日，Lynch 先在个人网站发布仅测 LLM 的版本：两个模型首选诊断各 84 和 85 例（42%），数据包当时已经公开。10 月 25 日的 LynchLab 版本新增 Inception v3 对照和浏览器演示，CNN 一进来就把两个 LLM 甩开 20 个百分点。作者的身份给这组数字添了分量：他是 Guy’s Hospital 的皮肤科与 Mohs 手术顾问医生、King’s College London 名誉讲师（Honorary Reader）。他同时披露，分析用 Claude Code 完成，而被测模型之一正是 Anthropic 的——这层利益关系读者可以自己掂量。
测试用的是 ISIC（国际皮肤成像协作组织）2025 年发布的 MILK10k 数据集，抽出的 200 例全部有组织学确诊。仅 LLM 版还有一个当时就被注意到的细节：GPT-6 Astra 答对时自报的平均置信度 82，答错时 79，几乎分不出对错；Claude 的置信度与正确率贴合得多。先测再用、给现成模型验底数，这个月本站写过框架层的 softmax 数值 Bug；应用层的这一件样本更小，后果却更直接。
事实部分
按 Lynch 公布的方法与结果表（2026-10-25）：测试集 200 例病变，其中 100 例不可安全放行（30 例黑色素瘤、25 例基底细胞癌、25 例鳞状细胞癌、20 例光化性角化病），100 例可安全放行（50 例良性痣、50 例脂溢性角化病）；每例配一张临床照片和一张皮肤镜图。Inception v3 在 68,011 张 ISIC 图上全层微调，用单张 H100，测试病变及同患者图像在训练前剔除。两个 LLM 每例只跑一次，同一提示词，给六个诊断选项加”不确定”，打分由脚本对照组织学完成。
| 模型 | 首选诊断（/200） | 黑色素瘤首选（/30） |
|---|---|---|
| Inception v3（2015 年架构，微调） | 125（62%） | 13（43%） |
| Claude Fable 5.1 | 85（42%） | 11（37%） |
| GPT-6 Astra | 84（42%） | 8（27%） |
允许报第二诊断时，差距收窄但方向不变：CNN 173/200，两个 LLM 分别为 134 和 138。放行决策（建议回家观察，还是转活检）是另一张表：
| 模型 | 黑色素瘤放行（/30） | 不可放行病变保留（/100） | 可放行病变正确放行（/100） |
|---|---|---|---|
| Inception v3（预设阈值） | 18 | 77 | 76 |
| Inception v3（阈值对齐后） | 1–2 | 98–99 | — |
| GPT-6 Astra | 3 | 97 | 32 |
| Claude Fable 5.1 | 4 | 96 | 22 |
方向要读对：预设阈值下 CNN 放行了更多黑色素瘤，安全性在这张表上最差；对齐阈值后它才同样安全甚至更安全。CNN 明确占优的是诊断准确率，安全栏占优的是「对齐后」那一行。还有一个患者视角的测试：只给临床照片问「我需要看医生吗」，两个 LLM 几乎在所有病例上都建议就医，包括 100 例额外黑色素瘤中的 99 例和 98 例——作为分诊预警，它们的保守是对的。
各方说法
Hacker News 上的讨论有 170 多条评论（帖子由作者本人以 sungam 发出，截至 2026-10-26 约 330 分）。最集中的批评是「benchmaxxing」：在自家训练分布上微调的模型赢过零样本通用模型，HN 用户 Legend2440 认为是预期内结果，泛化到真实世界照片就难说了。另一个常见类比：计算器赢算术、KataGo 赢围棋，专用工具赢通用模型从来算不上新闻；也有从业者认为 30 例黑色素瘤撑不起这么大的结论。反驳同样直接：任务专用模型训练是行业标准做法，够不上刷榜。Lynch 本人回帖说，CNN 架构是故意挑的旧基线，「小到能在手机浏览器的 WebGPU 里跑，方便演示」，而临床级系统用的是经过试验验证的视觉 Transformer 集成；他原以为公开网络上有几万张带标注的皮肤癌图像，通用图像理解能力会迁移过来。
explainx.ai 的 Yash Thakker 在独立转述里补了校准这一层：两个 LLM 曾把一例耳部黑色素瘤认成脂溢性角化病并建议放行，GPT-6 Astra 还给一个错误的基底细胞癌判断标了 95% 置信度。他引用的原话是：「A model that sounds sure while missing a melanoma is more dangerous than one that hedges.」评测数字能不能信，本站写过 Anthropic 因 reward hacking 给内部评测断网的处置（Anthropic 切断评测实时网联），是同一类问题的另一面。
编辑判断
对把 LLM 接进垂直领域产品的人，这组数据的价值在 Lynch 自己列出的保留条件里：30 例黑色素瘤的置信区间很宽；每例只跑一次，换提示词或采样参数可能不同；200 例全是做过活检的疑难病例，CNN 在普通档案图上的 AUC 是 0.96，在这批难例上只有 0.86；MILK10k 公开已近两年，可能已进 LLM 训练集——若真有污染，污染帮的是 LLM，差距反而更难解释；这个 CNN 也非临床最优，受监管在售的产品用 ViT 集成明显更强。作者的原话是他本来预期 LLM 表现更好。
仍不知道的是真实初级诊疗分布上的表现，以及 LLM 在多轮追问、更充分的提示下能不能追回来。但「换上更强的通用模型就行」这个默认假设，在医疗影像这类窄域里已经躺着一个可下载的反例。跑分名次与真实任务之间的落差，本月在 StartLux 登顶社区决策榜 那条里也是同一主题。
怎么试
LynchLab 页面（lynchlab.net/llm-skin-cancer）提供整个测试的下载：200 例病例与 ISIC 图像编号、提示词、两个模型的全部回复、打分脚本。数据集 MILK10k 的 DOI 是 10.34970/648456，图像按 CC BY-NC 授权。CNN 模型小到能在手机浏览器里用 WebGPU 本地推理，图像不上传，页面附有演示入口。