在免疫相关不良事件(immune-related adverse events,irAEs)的临床管理中,人工智能(artificial intelligence,AI)聊天机器人的应用如何?2024年5月,发表在J Immunother Cancer的一项研究对此进行了探讨。
背景
AI聊天机器人已经成为一般信息和医疗信息的主要来源,尽管它们的准确性和完整性仍在评估中。它们在回答有关irAEs,即癌症免疫治疗常见和潜在危险毒性问题方面的效用尚未得到很好的定义。
方法
研究团队围绕10种irAEs开发了50个不同的问题,并在现有指南中给出了答案,并分别向两个AI聊天机器人(ChatGPT和Bard)提问,同时还提出了20个针对患者特定场景。irAE管理专家使用李克特量表对答案的准确性和完整性进行评分,评分范围从1(最不准确/完整)到4(最准确/完整)。对不同类别和不同模型的答案进行了比较。
结果
总体而言,两种模型在准确性(ChatGPT和Bard的平均得分分别为3.87 vs 3.5,p<0.01)和完整性(3.83 vs 3.46,p<0.01)方面得分都很高。
在ChatGPT中,1~2分(完全或大部分不准确或不完整)的答案尤其少见(6/800的答案评级,0.75%)。
在50个问题中,所有8位医生评分者对22个问题(准确性)和16个问题(完整性)给ChatGPT打了4分(完全准确或完整)。
20例患者场景中,平均准确率为3.725分(中位数4分),平均完整性为3.61分(中位数4分)。
结论
AI聊天机器人关于irAEs提供了相当准确和完整的信息,而非常不准确的信息(“幻觉”)并不常见。然而,在准确性和完整性进一步提高之前,指南仍然是要遵循的黄金标准。
声明
本文为专业研究人员文献学习后的心得体会,其语言表述不能完全反映原文献的研究内容,仅为读者提供信息参考。如需了解文献研究的详细情况,需根据参考文献提供的检索路径,查找并阅读原文献。
免责声明
内容来源于人卫知识数字服务体系、人卫inside知识库,其观点不反映优医迈或默沙东观点。此服务由优医迈与胤迈医药科技(上海)有限公司授权共同提供。
如需转载,请前往用户反馈页面提交说明:https://www.uemeds.cn/personal/feedback
[1]URNETTE H, PABANI A, VON ITZSTEIN MS, et al. Use of artificial intelligence chatbots in clinical management of immune-related adverse events[J]. J Immunother Cancer, 2024, 12(5):e008599. https://pubmed.ncbi.nlm.nih.gov/38816231/doi: 10.1136/jitc-2023-008599.