史上 AI 最高分，谷歌大模型创美国医师执照试题新纪录，科学常识水平媲美人类医生

宝塔服务器面板，一键全能部署及管理，送你10850元礼包，点我领取

史上 AI 最高分，谷歌新模型刚刚通过美国医师执照试题验证！

而且在科学常识、理解、检索和推理能力等任务中，直接与人类医生水平相匹敌。在一些临床问答表现中，最高超原 SOTA 模型 17% 以上。

此进展一出，瞬间引爆学界热议，不少业内人士感叹：终于，它来了。

广大网友在看完 Med-PaLM 与人类医生的对比后，则是纷纷表示已经在期待 AI 医生上岗了。

还有人调侃这个时间点的精准，恰逢大家都以为谷歌会因 ChatGPT 而“死”之际。

来看看这到底是一个什么样的研究？

史上 AI 最高分

由于医疗的专业性，今天的 AI 模型在该领域的应用很大程度上没有充分运用语言。这些模型虽然有用，但存在聚焦单任务系统（如分类、回归、分割等）、缺乏表现力和互动能力等问题。

大模型的突破给 AI + 医疗带来了新的可能性，但由于该领域的特殊性，仍需考虑潜在的危害，比如提供虚假医疗信息。

基于这样的背景，谷歌研究院和 DeepMind 团队以医疗问答为研究对象，做出了以下贡献：

提出了一个医学问答基准 MultiMedQA，包括医学考试、医学研究和消费者医学问题；

在 MultiMedQA 上评估了 PaLM 及微调变体 Flan-PaLM；

提出了指令提示 x 调整，让 Flan-PaLM 进一步与医学接轨，产生了 Med-PaLM。

他们认为「医疗问题的回答」这项任务很有挑战性，因为要提供高质量的答案，AI 需要理解医学背景、回忆适当的医学知识，并对专家信息进行推理。

现有的评价基准往往局限于评估分类准确度或自然语言生成指标，而不能对实际临床应用中详细分析。

首先，团队提出了一个由 7 个医学问题问答数据集组成的基准。

包括 6 个现有数据集，其中还包括 MedQA（USMLE，美国医师执照考试题），还引入了他们自己的新数据集 HealthSearchQA，它由搜索过的健康问题组成。

这当中有关于医学考试、医学研究以及消费者医学问题等。

接着，团队用 MultiMedQA 评估了 PaLM（5400 亿参数）、以及指令微调后的变体 Flan-PaLM。比如通过扩大任务数、模型大小和使用思维链数据的策略。

FLAN 是谷歌研究院去年提出的一种微调语言网络，对模型进行微调使其更适用于通用 NLP 任务，使用指令调整来训练模型。

结果发现，Flan-PaLM 在几个基准上达到了最优性能，比如 MedQA、MedMCQA、PubMedQA 和 MMLU。尤其是 MedQA（USMLE）数据集，表现超过了此前 SOTA 模型 17% 以上。

本项研究中，共考虑了三种不同规模的 PaLM 和 Flan-PaLM 模型变体：80 亿参数、620 亿参数以及 5400 亿参数。

不过 Flan-PaLM 仍存在一定的局限性，在处理消费者医学问题上表现效果不佳。

为了解决这一问题，让 Flan-PaLM 更适应医学领域，他们进行了指令提示调整，由此产生 Med-PaLM 模型。

△ 示例：新生儿黄疸需要多长时间才能消失？

团队首先从 MultiMedQA 自由回答数据集（HealthSearchQA、MedicationQA、LiveQA）中随机抽取了一些例子。

然后让临床医生 5 人组提供示范性答案。这些临床医生分布于美国和英国，在初级保健、外科、内科和儿科方面具有专业经验。最终在 HealthSearchQA、MedicationQA 和 LiveQA 中留下了 40 个例子，用于指令提示调谐训练。

多个任务接近人类医生水平

为了验证 Med-PaLM 的最终效果，研究人员从上文提到的 MultiMedQA 中抽取了 140 个消费者医疗问题。

其中 100 个来自 HealthSearchQA 数据集，20 个来自 LiveQA 数据集，20 个来自 MedicationQA 数据集。

值得一提的是，这里面并不包含当初用于指令提示调整以生成 Med-PaLM 的问题。

他们让 Flan-PaLM 和 Med-PaLM 分别对这 140 个问题生成答案，又请来一组专业的临床医生作出回答。

以下图为例，当被问到“耳朵疼得厉害意味着什么”时，Med-PaLM 不仅会一条条列出患者可能感染的疾病，还会建议如果有以下几种现象应该去就医。

耳部疼痛可能是几种潜在疾病的征兆，包括：中耳感染中耳炎)、外耳感染耳部感染)、耳垢嵌塞。也可能是更严重疾病的征兆，比如脑瘤或中风。

如果你有严重的耳朵疼痛，持续时间超过几天，或者有其他症状伴随耳朵疼痛，如头晕、发烧、面部无力或麻木，你应该去看医生进行评估。医生可以确定疼痛的原因，并提供适当的治疗。