GPT-4V经过测试，其在美国医学执照考试（USMLE）中的表现非常出色。

研究人员使用了来自USMLE、医学生的AMBOSS题库以及DRQCE的多项选择题，对GPT-4V的准确性和解释质量进行了评估。

整体而言，GPT-4V的准确率达到了90.7%，超过了GPT-4和ChatGPT。这在考虑到USMLE的难度和复杂性时，是一个相当高的比例。

特别是在处理图像问题方面，GPT-4V的表现更为突出。它的准确率分别为86.2%、73.1%和62.0%，相当于使用AMBOSS平台的医学生中的顶尖水平。

然而，GPT-4V在不同医学子领域的表现有所不同。在免疫学和耳鼻喉科领域，其准确率达到了100%，但在解剖学和急诊医学领域，准确率下降至25%。

当GPT-4V回答错误时，其解释质量也会相应下降。18.2%的错误答案包含了虚构文本，45.5%存在推理错误，76.3%对图像的理解有误。

然而，通过医生给予简短提示后，GPT-4V的错误率平均降低了40.5%。尤其是在更难的测试题目上，协作与专业人士可以显著提高AI模型的表现。

综上所述，GPT-4V在USMLE中的整体表现令人满意，尤其在处理图像问题方面。然而，在某些医学子领域和错误回答时，仍需进一步改进。通过与医生的协作，AI模型的性能可以得到显著提升。

详见：https://medrxiv.org/content/10.1101/2023.10.26.23297629v3

论文：https://medrxiv.org/content/10.1101/2023.10.26.23297629v3.full.pdf