系统性基准测试LLM和持续监控AI性能
AJ24机器对话
2024年06月07日 17:36

亲爱的朋友们，

~~~~~~~~

据《自然新闻》报道，X平台上的一起事件引发了Elon Musk和成千上万X用户之间关于现代科学研究的争论。事情源于AI先驱Yann LeCun批评了Elon Musk在5月27日的推文：“如果你相信我们的使命是理解宇宙，请加入xAI，这需要最大限度地严格追求真理，而不考虑受欢迎程度或政治正确性。” 我不知道这种社交媒体上的冲突能否带来任何新的见解，然而它提醒我，在生成式AI的新世界中，重新思考如何追求真理是至关重要的。特别是，像ChatGPT这样的通用LLM并不是专门为医疗保健中的结果预测（如诊断预测）而设计的，因此探索真理的定义如今就成了一个问题。

人类科学家可能需要时间来回答这个基本问题，但我很好奇ChatGPT对此的看法。下面对话中ChatGPT的答案可能会让你感到惊讶——它说，科学可能需要从寻求确定性真理转向概率性真理的范式转变。

我认为机器给了我们一个很有趣的想法。对于医疗保健来说，这种范式转变需要对基于LLM的生成式AI进行系统性的基准测试，涵盖可能受益于生成式AI (GenAI) 的所有医疗保健任务，这是实现医学AI普及的第一步。正因为早早认识到了这一转变，我们一直在系统性地进行基准测试研究，评估GenAI针对不同医学专科的所有疾病的症状检查和诊断预测能力，并把各专科的预测总体准确性发布在我们的ELHS Copilot学习工具的医疗GenAI排行榜上。初始排行榜包括两个专业：肿瘤学和神经学。OpenAI的ChatGPT、谷歌的Gemini和百度的Ernie在诊断预测方面取得了前所未有的高准确性，这些对话机器人值得进一步的临床效果比较研究，评价GenAI与医生在临床培训和决策中的协作效果。

除了系统性基准测试，对AI模型在医疗保健中的应用进行持续验证和监控也至关重要。一个好消息是，UCSF获得了500万美元的捐赠，用于建立一个新型的持续AI监控平台，一个实时和自动化的临床服务人工智能监控平台。该项目由UCSF的LHS专家Julia Adler-Milstein博士共同领导。

据Healthcare IT News报道，Epic为医疗AI社区带来了另一个好消息：在努力实现健康AI验证普及化的过程中，Epic将为医疗机构提供新的开源工具，以验证任何人工智能模型并监控其持续性能。

以下是更多最新发展和我与ChatGPT的对话，祝阅读愉快！

诚挚的问候，

AJ

陈安均博士

公平智能健康系统研究所（ELHS Institute）

网站：elhsi.org

邮箱：aj@elhsi.org

范式转变：确定性真理转向概率性真理

来自Page Mill的专题资讯

近期发表的论文、新闻和事件，讲述重点主题的进展。

Lin CS, Liu WT, Tsai DJ, et al. AI-enabled electrocardiography alert intervention and all-cause mortality: a pragmatic randomized clinical trial. Nat Med. 2024 May;30(5):1461-1470. doi:10.1038/s41591-024-02961-4.

https://www.nature.com/articles/s41591-024-02961-4

[2024/5]The trial met its primary outcome, finding that implementation of the AI-ECG alert was associated with a significant reduction in all-cause mortality within 90 days: 3.6% patients in the intervention group died within 90 days, compared to 4.3% in the control group (4.3%) (hazard ratio (HR) = 0.83, 95% confidence interval (CI) = 0.70–0.99). A prespecified analysis showed that reduction in all-cause mortality associated with the AI-ECG alert was observed primarily in patients with high-risk ECGs (HR = 0.69, 95% CI = 0.53–0.90).

-

Barnett AJ, Jade A, Guo Z, et al. Improving Clinician Performance in Classifying EEG Patterns on the Ictal–Interictal Injury Continuum Using Interpretable Machine Learning. NEJM AI 2024;1(6). DOI:10.1056/AIoa2300331.

https://ai.nejm.org/doi/full/10.1056/AIoa2300331

[2024/5]We developed an interpretable deep-learning system that accurately classifies six patterns of potentially harmful EEG activity — seizure, lateralized periodic discharges (LPDs), generalized periodic discharges (GPDs), lateralized rhythmic delta activity (LRDA), generalized rhythmic delta activity (GRDA), and other patterns — while providing faithful case-based explanations of its predictions. The performance of all users significantly improved when provided with AI assistance. Mean user diagnostic accuracy improved from 47 to 71% (P<0.04). The model achieved AUROCs of 0.87, 0.93, 0.96, 0.92, 0.93, and 0.80 for the classes seizure, LPD, GPD, LRDA, GRDA, and other patterns, respectively.

-

Ferber D, Wiest IC, Wölflein G, et al. GPT-4 for Information Retrieval and Comparison of Medical Oncology Guidelines. NEJM AI 2024;1(6). DOI: 10.1056/AIcs230023

https://ai.nejm.org/doi/full/10.1056/AIcs2300235

[2024/5]With the aim of improving oncologists’ efficiency and supporting their adherence to the most recent treatment recommendations, we evaluated the use of the large language model generative pretrained transformer 4 (GPT-4) to interpret guidelines. We showed that GPT-4, when enhanced with additional clinical information through RAG, can accurately identify detailed similarities and disparities in diagnostic and treatment proposals across different authoritative sources.

-

Huang, J., Yang, D.M., Rong, R. et al. A critical assessment of using ChatGPT for extracting structured data from clinical notes. npj Digit. Med. 7, 106 (2024).

https://doi.org/10.1038/s41746-024-01079-8

[2024/3]Our study shows the feasibility of using ChatGPT to process large volumes of clinical notes for structured information extraction without requiring extensive task-specific human annotation and model training. The results underscore the potential role of LLMs in transforming unstructured healthcare data into structured formats, thereby supporting research and aiding clinical decision-making.

生成式AI机器眼中的医疗世界

生成式AI正在成为人类社会的一部分，AJ与ChatGPT对话，揭示机器怎么看人类医疗健康。

 AJ 

什么是科学？

 ChatGPT 

科学是一种系统的活动，通过可测试的解释和预测来建立和组织关于宇宙的知识。它包括观察、识别、描述、调查和理论解释现象。以下是科学的一些关键方面：

  1. 经验证据：科学依赖于经验证据，即通过观察和实验获得的数据。

  2. 假设和理论：科学家提出假设（可测试的预测）和理论（经过充分证实的解释）来解释自然现象。

  3. 实验：科学知识通常通过控制实验来获取，以测试假设。

  4. 可重复性：科学发现必须能够被其他人按照相同的方法重复，以确保其有效性。

  5. 同行评审：科学研究通常会经过同行评审，即其他专家在发表前对方法、结果和结论进行评估。

  6. 科学方法：科学过程通常包括观察、形成假设、进行实验、分析数据和得出结论。

  7. 进步性：科学是进步性的，意味着它建立在以前的知识基础上，并且随着新证据的出现始终可以被修订。

 AJ 

总结得很好，谢谢。在传统科学中，寻求真理通常是确定性的——发现一条规则后，遵循这条规则应该会产生预期且可验证的结果。然而，在生成式AI的新世界中，大型语言模型（LLM）被设计为从可用内容中理解人类语言，但能生成和输出看似不太可能但却真实的结果。例如，关于ChatGPT的一个常见误解是它不能做出某些医学预测，因为所需的医学数据不在训练数据中。但ChatGPT已经证明了许多这些预先判断是错误的。这个新现象引发了一个基本的科学研究问题：如何在生成式AI中研究真相或真理？我想听听你的看法。

ChatGPT 

研究生成式人工智能中的真相，特别是像ChatGPT这样的大型语言模型，带来了独特的挑战，因为这些模型不遵循传统科学的确定性规则。相反，它们依赖概率方法和大量数据来生成有时出乎意料但仍然有效的回答。以下是一些关于如何解决这一复杂任务的思考：

  1. 认识到认知论的转变：从确定性真理转向概率性真理的基本转变。传统的科学方法依赖于通过确定性规则的可重复性和可验证性。然而，生成式人工智能是基于从大数据集中得出的模式和概率运作的。这意味着要接受一种新的理解，即如何在人工智能输出中辨别真理。

  2. 数据和模型透明度：确保用于训练的数据和模型架构的透明度。了解数据的来源和模型学习的机制可以提供对其输出起源的见解。透明度有助于评估人工智能系统中的可靠性和偏差。

  3. 通过实证测试验证：对人工智能生成的假设和预测进行严格的实证测试。虽然大型语言模型可以生成新的且看似不太可能的输出，但这些需要通过现实世界的实验和观察来验证。这一步桥接了人工智能生成知识和传统科学验证之间的差距。

  4. 跨学科合作：吸引来自计算机科学、语言学、哲学以及特定领域（如医疗专业人士）的专家进行合作。这种多学科方法有助于提出正确的问题，准确解释人工智能输出，并设计适当的验证研究。

  5. 持续反馈回路：实施一个持续的反馈回路，对人工智能生成的输出进行测试、验证，并将结果反馈到模型中。这个迭代过程可以随着时间的推移改进人工智能的准确性和可靠性，提高其生成真实和有用见解的能力。

  6. 伦理和社会考虑：考虑人工智能生成知识的伦理和社会影响。人工智能中的真理不仅是一个技术问题，还是一个社会问题。确保人工智能系统的负责任使用及其输出的谨慎解释至关重要。

  7. 哲学探讨：进行哲学探讨，探索人工智能背景下的真理性质。关于人工智能生成内容中知识、信念和证据的性质的问题可以为我们如何理解和验证这种新范式中的真理提供更深刻的见解。

  8. 基准测试和标准化：制定评估人工智能输出的真实性和可靠性的基准测试和标准化测试。这包括创建专门设计的数据集，以测试生成式人工智能在产生准确和可靠信息方面的极限和能力。

通过这些方法，可以在生成式人工智能的背景下研究和理解真理，确保在新兴技术领域的知识生成和应用中保持科学严谨性和伦理责任。

 AJ 

我欣赏你对从确定性真理到概率性真理的这种根本性转变的全面看法。对医疗保健产业而言，这意味着开展医疗AI科学研究必须建设以下能力：所有医疗任务的系统性基准测试、LLM变化的实时验证以及GenAI性能的持续监控。你怎么看？

 ChatGPT 

我完全同意你的观点。在医疗保健领域，采用系统和严格的方法来评估和监控AI系统对于确保安全性、有效性和可靠性至关重要。以下是对你提到的能力的一些详细思考：

1. 所有医疗保健任务的系统性基准测试：

  • 全面评估：开发和维护一套全面的基准测试，用于各种医疗保健任务，如诊断、治疗建议、患者管理和行政任务。

  • 标准化指标：使用标准化指标来评估AI模型的性能。这包括准确性、灵敏度、特异性、精确度、召回率、F1得分和根据任务的其他相关指标。

  • 多样化数据集：确保基准测试数据集具有多样性，能够代表不同的人群、医疗状况和临床环境，以避免偏差并确保广泛适用性。

  • 公开的基准测试：尽可能将这些基准测试公开，以促进透明度并允许研究社区进行独立验证。

2. 实时验证LLM的变化：

  • 持续测试：实施持续测试和验证管道，自动评估语言模型（LLM）在更新或重新训练时的性能。

  • 警报系统：开发警报系统，通知研究人员和临床医生任何显著的性能变化，尤其是准确性下降或新偏差的出现。

  • A/B测试：使用A/B测试方法比较新模型版本与以前版本的性能，确保变化带来改进或至少不降低性能。

  • 临床模拟环境：创建模拟临床环境，在实际部署前安全地测试新模型版本。

3. 生成式AI性能的持续监控：

  • 实时监控：实施实时监控系统，跟踪生成式AI模型在生产环境中的性能。这包括监控输出质量、用户互动和错误率。

  • 反馈机制：建立健全的反馈机制，让临床医生报告AI输出中的问题或不准确之处。利用这些反馈不断改进模型。

  • 定期审计：进行定期审计，以确保AI性能持续符合监管标准和临床指南。

  • 自适应学习：实施自适应学习系统，使AI能够从新数据和用户互动中不断学习和改进。

通过这些能力，可以确保在医疗保健领域的生成式AI科学研究中保持高标准的安全性、有效性和可靠性，从而更好地服务患者和医疗专业人员。

~~~THE END~~~

相关学习和研究资源：

  • 《复旦大学智能医学研究院》：医学GenAI的教育培训和创新研究合作视频及专栏

    • 喜马拉雅频道：AJ24机器对话（https://www.ximalaya.com/zhubo/495199296）

    • 喜马拉雅专辑：复旦GenAI（https://www.ximalaya.com/album/79785021）

    • 微信视频号：陈安均AJ2.4

    • 微信公众号：数字健康Digital Health

  • 医学GenAI学习和研究Copilot工具（https://elhsi.com/）

  • 吴恩达教授GenAI网上公开课（https://deeplearning.ai）

  • 《ELHS通讯》英文版（https://elhsi.org/Newsletters/）

阅读原文：https://elhsi.org/Newsletters/Systematic-Benchmarking-LLMs-and-Continuous-Monitoring-of-AI-Performance/

cv35166464