文摘
背景。人工智能(AI)发展迅速,其应用扩展到临床决策支持系统(CDSS)为提高医疗质量。然而,AI-driven信用违约掉期的可解释性的广泛应用带来了重大挑战。客观的。本研究评估的知识和基于数据的信用违约掉期文学关于医疗保健的可解释性。它突出的相关性可解释性cds和从技术和医学的角度改进的区域。方法。系统搜索进行interpretability-related从2011年到2020年发表的文献和索引的五个数据库:网络科学,PubMed, ScienceDirect,科克伦,斯高帕斯。期刊文章,关注信用违约掉期的可解释性包括进行分析。经验丰富的研究人员也参与了手动审查选定的文章包含/排除和分类。结果。基于纳入和排除标准,20篇文章从16期刊终于选择了这篇评论。模型的可解释性,这意味着一个透明结构,明确的输入和输出之间的关系,和explainability人工智能算法,对信用违约互换至关重要应用在医疗保健设置。提高信用违约掉期的可解释性的方法包括ante-hoc方法如模糊逻辑、决策规则、逻辑回归、决策树以知识为基础的人工智能,和白箱模型,等事后方法功能重要性,灵敏度分析,可视化,为黑盒模型和激活最大化。许多因素,如数据类型,生物标志物,human-AI交互,需要临床医生、病人,会影响信用违约掉期的可解释性。结论。审查探讨信用违约掉期的可解释性的意义,总结了当前的方法从技术和医学的角度改善可解释性。结果有助于理解信用违约互换可解释性的基于人工智能在卫生保健。未来的研究应注重建立形式化定义可解释性,识别可解释性的属性,并开发一个适当的和客观的度量可解释性;此外,用户的可解释性和如何表达需求并提供解释也为未来的研究方向。
1。介绍
临床决策支持系统(cds)结合临床知识、病人数据,和信息技术,为医疗机构提供决策提高医疗保健的质量(1]。信用违约掉期开发从诊断(2,3),疾病管理(4),和处方5,6)对预测(7- - - - - -9]。
多年来,信用违约掉期一直试图将人工智能(AI)集成到临床任务和被公认为主要形式的人工智能技术在医学领域的应用(10]。人工智能方法可以分为两种不同的类型:以知识为基础的人工智能和数据驱动的人工智能11]。一些著名的信用违约互换的例子已经开发和基于知识的人工智能方法。例如,早期的专家系统包括霉菌素治疗细菌感染(12),与大型知识库DXplain (13),现时的基于大规模的循证医学知识(14]。与机器学习技术在医学领域的应用,为信用违约掉期数据驱动的人工智能方法带来了巨大的进步在过去的几十年。而信用违约互换可以分为不同的类型,有两种亚型基于所使用的人工智能方法:以知识为基础的信用违约互换(KB-CDSS)和基于数据的信用违约互换(DB-CDSS) [11,15]。
KB-CDSS包含三个部分:一个中央知识库,推理引擎,用户界面(16]。知识库是提取专家的知识表示形式的本体,规则,计算机可判断的指导方针(是到岸价)和模糊逻辑。这些可以直接表达语义知识表示和医学临床医生和病人的影响。两种常用的知识表示方法KB-CDSS决策规则和模糊逻辑。Wagholikar [17)技术为基础开发出了一种信用违约掉期决策规则生成的指导方针,屏幕宫颈癌。这个决策规则的方法提供了模型的可追溯性和更高的信息密度。模糊逻辑处理不确定和不精确定义现实与参数在0和1之间,输入和输出之间的关系18]。模糊逻辑方法很容易实现和理解与高精度和低复杂性。其他人也试着把本体和模糊逻辑统一和规范化各种类型的脆知识和医学领域的不确定的性质(19]。一般来说,KB-CDSS相对透明和可翻译的20.]。主要的挑战是获取和更新知识库(21]。
DB-CDSS,其特点是大量的医学数据和统计机器学习方法,具有高水平的准确性,但少不良和解释的22,23]。DB-CDSSs用于中风预测(24),糖尿病性视网膜病变评分(25)、脑膜炎诊断(26),和治疗效果评价27),他们常常被描述为白盒和黑盒模型(22,28]。白箱模型线性和单调的属性约束或传达明确的信息关于他们的内部结构,逻辑回归、决策树等(3,22]。基于逻辑回归模型,DB-CDSSs用于评估患者COVD-19 [4),诊断心血管疾病(29日),并提供临床见解通过系数特性重要性和特性相关。基于决策树算法的开发,在线patient-oriented CRC cds [30.)和信用违约掉期头痛疾患(22传达给医生和患者可以理解的信息。然而,尽管白箱模型的可解释性,其性能往往低于黑盒在复杂和大型的数据集24]。
相比之下,黑盒模型,如非线性随机森林,支持向量机,神经网络,是不透明的,最终用户不知道以来推理过程和内部连接只能观察到的输入和输出数据训练期间(3]。根据通用数据保护规定(GDPR),自动化决策上有条款,个人有权获得“有意义的解释涉及的逻辑”(31日]。没有启用技术能够解释的逻辑黑匣子,DB-CDSS是很难接受的。
可解释性是一个至关重要的因素在决定采用cds与否对医疗机构(32]。临床医生和卫生专业人员需要保证精度和安全之前,他们可以信任的信用违约掉期(33,34]。可判断的方法帮助临床医生了解cds的内部工作机制和共享结果和病人在一个可以理解的方式。信用违约掉期用户的调查显示,可解释性显著增加医疗从业者的接触,满意度,和使用意图与人工智能技术(35]。各种各样的信用违约互换使用可辩解的人工智能模型已经被开发出来,如糖尿病诊断基于模糊规则来表达复杂的医疗问题(19),心力衰竭生存预测基于决策树聚焦特性的重要性(36),筛选治疗致盲视网膜疾病基于神经网络通过强调光学图像的区域15],指南建议基于数据驱动的乳腺癌临床决策树(上)把指南(37),检查睡眠分期结果基于人工智能和以用户为中心的方式解释(38]。虽然cds基于数据驱动的AI会导致更精确的结果没有费力知识库的建设,其解释能力不足了,它广泛的应用在临床实践中一个巨大的障碍(23,39]。
AI的explainability一直关注的一个话题在医疗,从多学科的角度和不同的意见出现(31日,40]。一些研究关注开放医学人工智能的黑盒(31日,41,42]。Guidotti et al。31日)确定家庭的不同组件的解释问题,然后提出一个分类问题解决方法的具体解释,黑盒模型打开时,所使用的数据类型作为输入,然后explanator采用的类型。黑盒模型的定义和分类提出对于医学人工智能还应该有用。医学领域的可解释性,临床特征的重要性使用深泰勒分解MLP、夏普利值树增加,logistic回归模型系数(24)和激活最大化产生高质量可视化分类器的决策通常采用打开黑盒(43]。不仅仅是算法设计从技术的角度来看,专家和临床医生从医学角度解释能力有更多的需求。可辩解的人工智能解决方案包括使用多通道和多通道数据融合,专家知识集成和人工智能识别的临床特征(42,44]。Kolyshkina [41CRISP-ML]提出了一种方法测定,测量,和成就的必要水平的可解释性毫升在公共医疗保健解决方案,考虑到公共医疗细节,监管要求,项目的利益相关者,项目目标和数据特征。获得可信赖和接受用户对医学人工智能,临床医生和患者的需求explainability得到更多的关注。黄等。38)进行用户访谈、观察用户会话和迭代设计过程提供临床合理的解释在信用违约掉期以用户为中心的设计框架。它关注哪些信息应该包含在解释和解释是如何提供的信用违约掉期。研究结果显示,用户关注解释输入数据,领域知识中使用任务,因果信息导致输出,输入数据和结果的影响,应该与临床过程密切相关。此外,信息来源的解释应该是中提供一个用户友好的和容易理解的方式,如可视化的方法。
此外,一些系统的文献回顾总结explainability医学人工智能从不同的角度(32,39,45]。Chakrobartty和[32)提供一个系统回顾可辩解的人工智能在医学领域关注的方法和技术。此外,被更多的关注的问题从其他角度可辩解的人工智能。阿曼et al。45)采用多学科的方法来分析相关性和伦理评价explainability医学人工智能的技术、法律、医学、和病人的角度来确定需要explainability医学人工智能。这一发现表明,技术角度的explainability集中在如何实现它,而法律角度的explainability关注知情同意,认证和批准作为医疗器械,和责任;医生和病人的角度强调了人与人之间的交互和医学人工智能。作为最重要的医学人工智能的应用形式,可辩解的AI在临床决策支持系统(cds)也引发了人们的忧虑。Antoniadi et al。39)回顾了可辩解的AI的应用程序在机器上优于信用违约掉期和总结的结果数据类型,偏好的开发者,类型的解释,并使用可辩解的AI的好处。这些研究主要关注explainability AI而不是信用违约掉期的可解释性,并仍有差距,对于相关的影响和解决方案的可解释性的信贷违约掉期。本文打算把重点放在技术解决方案和医疗相关的影响可解释性帮助开发者可辩解的AI融入临床工作流,目的是提高对信用违约互换的信任和接受。(1)识别和分类的意义和相关影响可解释性的信用违约掉期以病人为中心的原则,(2)总结信用违约掉期的主要解释方法在临床实践中从技术和医学的角度。
评审的组织结构如下:部分概述的方法搜索策略,选择标准和质量评估。结果部分代表了我们的系统回顾的结果从技术和医学的角度来看。讨论部分讨论研究结果,最后一部分总结了审查,并建议未来的研究方向。
2。方法
2.1。搜索策略
这个文献检索包括三个步骤:搜索、选择和提取。综述文献的数据库包括网络科学,PubMed、科学直接,科克伦,斯高帕斯,时期从2011年到2020年不等。搜索策略详细表1。
2.2。选择标准
包含和排除基于主题的相关性,临床任务、评估、语言,和类型的期刊文章。具体来说,文章均包括在内(1)开发信用违约掉期,(2)是由至少一个医疗过程(如预测、诊断、预后、风险评估,治疗建议,或治疗管理),(3)讨论可解释性,(4)验证和评估,和(5)是用英语写的。研究被排除在外,如果他们(1)不包括信用违约掉期的应用,(2)评论、社论、会议论文集,抽象,或书籍章节,(3)缺乏详细的评价或验证,和(4)不讨论可解释性。此外,两名有经验的评论者包含的筛选。图1显示了完整的搜索和选择的过程。
2.3。数据提取和质量评估
包括文章的特点确定了分别由两个审稿人,进一步验证了高级研究员。它们包括(1)第一作者和出版年,(2)技术方法,(3)数据源,(4)生物标记,(5)human-AI互动,和(6)的性能评估。两位研究者独立评估的质量包括文章使用被广泛接受的关键评估技能项目(CASP) [46),一个11个问题工具评估质量的定量研究(47,48]。多媒体附件1本文中使用的质量评估工具。通过评估的四个领域(1)目标,(2)样本选择和方法,(3)设计和结果,和(4)的研究结果,研究人员得出结论,所有文章遇到质量评级(超过80%的评级> 0.7)协议的评级。
3所示。结果
3.1。包括文章的特点
最初的搜索结果2810引用5数据库。筛选后,剩下的20篇文章由16个期刊发表(例如,“BMC医学信息和决策,”“与应用专家系统”,“国际医学信息学杂志”“Plos one,”和“IEEE访问”),都包含在本文中。包括文章涵盖范围广泛的医疗保健领域。具体来说,9篇文章关注诊断,预测4,2管理,1在评估健康状况,2筛查,1治疗,1解释健康检查。这些研究主要集中在信用违约掉期的可解释性从技术的角度来看(见表2),表3总结相关的主题可解释性的信用违约掉期从医学的角度来看(见表3)。
3.2。从技术角度可解释性的信用违约掉期
所有包括文章讨论了信用违约互换各种临床任务的可解释性和医疗场景。从技术的角度来看,这些文章研究了信用违约掉期的可解释性2主题:(1)模型基于AI的信用违约互换和信用违约掉期(2)解释方法。表2总结相关的主题可解释性的信用违约掉期从技术的角度来看。
3.3。模型基于AI的信用违约掉期
六篇文章讨论KB-CDSS可判断的以知识为基础的人工智能方法,即模糊逻辑方法(19,54,决策规则的方法17,53,55),和贝叶斯方法2]。使用精确的数学方法定义现实明确表示模糊的现实,模糊逻辑方法是一种有效的医学知识表示方法来处理不确定和不精确。决策规则的方法可将直接代表更高的信息密度从专家的经验和知识。贝叶斯模型,本质上是一个键值字典之前估计和条件概率,通常用于推断和KB-CDSS排名可能的诊断。这三种方法是透明和可翻译的,经常用于疾病的诊断。缺点也是显而易见的:模糊模型是困难的分区和优化自动如果没有事先定义的领域专家;决策规则的信用违约掉期不能执行最优匹配推理引擎完全取决于条件;贝叶斯方法可能导致错误率如果有错误输入数据的先验概率和后验概率的确定结果。
相比之下,其余14 DB-CDSS文章使用数据驱动的人工智能方法,可分为“白箱模型”和“黑盒模型。“白箱模型有线性和单调的属性约束,或者他们可以揭示人工智能方法的内部工作机制。逻辑回归(LG)、决策树、贝叶斯模型最常用的白盒。逻辑回归方法DB-CDSS [4,7,29日)主要侧重于可解释性的功能重要性和通过系数特性的相关性。决策树DB-CDSS [22,30.)代表形式的图结构,并提供临床的解释在节点树的遍历规则做出决策。贝叶斯算法DB-CDSS [49)是基于先验概率预测。每一种模型都有其优点和缺点:逻辑回归线性数据结构简单,强大的可解释性和小数据集;决策树有一个透明的结构,可以实现大规模的数据源在一个相对短的时间内,和贝叶斯模型的优点是稳定的大规模数据的分类效率和更少的特征。
黑盒模型通常指的是数据驱动的人工智能,如支持向量机(3,20.,52,56),随机森林7,8,50),和深度学习8,9,15]。虽然这些模型的内部工作机制是难以理解,黑盒模型可以处理大规模复杂和相互关联的数据与更高的性能比白箱模型和基于知识的人工智能模型(3,11]。例如,曹et al。52)提出了一种基于支持向量机预测糖尿病视网膜病变和人工神经网络结合歧视临床特征。Kermany et al。1510月)开发了一种预测诊断与基于神经网络的图像标记。最近的研究工作主要集中在如何打开黑盒子加强信用违约掉期的可解释性10,13- - - - - -15,26]。
3.4。解释方法,信用违约掉期
立顿分类CDSS基于人工智能模型的可解释性分为两种类型:(1)ante-hoc方法:透明可解释性的目的是揭示了整个模型的内在工作机制或透明结构,(2)事后方法:解释为一个特定的决定或结果(57]。立顿的分类、ante-hoc分类的各种方法对解释的类型:决策树(22,30.),决策规则(17,53,55),模糊推理(19,54],[贝叶斯模型2),和逻辑回归4,7,29日];事后方法分为特征重要性(8,52),灵敏度分析(3,8],可视化[20.,50,51],和激活最大化[9]。
在本质上,以知识为基础的人工智能模型和白箱模型被称为ante-hoc方法。Ante-hoc方法,即透明盒,直接提供本地或全球信用违约互换解释导致安全可靠的决策。刘等人。30.)实现CRC CDSS-based决策树算法,专注于为用户提供个性化的初步CRC风险报告通过个性化的交互式可视化界面。杰贝兹·克里斯托弗et al。53]介绍了信用违约掉期的诊断过敏性鼻炎关注一组规则基于皮内注射皮肤测试的报告。刘等人。4]提出了评估病人cds COVID-19物流回归的基础上,提供临床见解通过特性的重要性。穆勒et al。2]提出了信用违约互换基于贝叶斯模型推断和排名可能诊断先验概率。水平的透明度由整个模型(simulatability),在单个组件等参数(可分解性),和水平的训练算法(算法的透明性)(31日]。Ante-hoc方法,即透明盒,直接提供本地或全球信用违约互换解释导致安全可靠的决策。
黑盒模型被称为事后方法。这些文章分类事后成4种解释方法:(1)功能的重要性,(2)敏感性分析,可视化技术(3),(4)激活最大化。这些文章的两个检查功能的重要性(31日]。功能重要性是一个简单但有效的事后的方法,因为它显示了重量和大小的特性,作为全球或本地解释在黑盒31日]。曹et al。52)提出了一个可预测的基于支持向量机的糖尿病性视网膜病变和人工神经网络;模型识别high-DR-risk人口而言,糖尿病的胰岛素治疗区别的特征和持续时间选择决策树和逻辑回归。因为功能重要性将使临床医生和病人直观地理解模型,调查方法至关重要的临床特征的决策是非常理想的。在实践中,黑盒的可预测不同程度依赖于功能的重要性,这是往下钻和审计证据的来源为临床医生和患者在决策。然而,功能容易受到噪音的重要性,以及直接几乎确定阈值的缺点[58]。
第二个事后方法的灵敏度分析。灵敏度分析评价结果的不确定性的一个黑盒子对输入的不确定性的来源,和方法通常是用于开发可视化工具(59]。Esmaeili et al。8)提出了一个模块的重量因素分析的基础上对预测模型提供了一种解释,灵敏度分析关注的信息增益度量来确定更丰富的功能。灵敏度分析方法也用于确定最重要的特征作为决策的生物标志物。衣服上的破处et al。3)采用逆操作识别造成成像特性(生物标记物)在诊断疾病。灵敏度分析方法重点分析途径追溯回贡献的特性和功能重要性从分类结果。灵敏度分析的优点的能力找出最敏感的特性中不确定的因素,未来难以确定的缺点的真实程度因素对结果的影响;事实上,该方法很难实现技术,人工智能在医学上的灵敏度分析需要进一步的研究。
第三个事后方法的可视化技术。可视化技术,人工智能模型的特定属性的表征,提供可解释性,揭示黑盒的内部工作机制(60]。考虑患者的理解和感受,博士答案AI对前列腺癌是可翻译的可视化接口代表了人工智能模型的性质和结果在一个可以理解的方式。此外,医生和病人之间的相互作用对治疗计划的能力提高了病人的满意度,也建立他们的信心在治疗计划(50]。Tolonen et al。51]提出了痴呆的鉴别诊断cds关注输出解释。可视化工具,代表决策的过程,是非常理想的最终用户:临床医生。Billiet et al。20.)技术为基础开发出了信用违约互换黄衫军的可视化,这代表评估参数的属性来提供可翻译的效果和交互。在[50,51),可视化工具代表决策的机制。相比之下,可视化工具代表评估标准(20.]。基本上,可视化工具是一种事后的方法,提供了可解释性的显示模型的决策或参数的过程。对于终端用户,病人和医生有不同的需求。病人集中在信息传输和交互与医生在一个可以理解的方式,这将影响病人的满意度和信心。相比之下,临床医生关注理解决策的机制和信用违约互换的输出的解释。
第四个事后方法是激活最大化。激活最大化(AM)是神经网络方法用于提供解释和深层神经网络。方法观察基本神经元激活输入记录和标识的特定模式,最大化激活某些神经元在一定层(61年,62年]。个性et al。9]开发了基于递归神经网络的信用违约互换(RNNs)合并的注意机制预测超过两周的病人的ICU课程。注意力地图,一个激活最大化(AM)方法,证明当预测变量对三个目标变量的影响。代理的预测变量的决策提供一定程度的可解释性和减少信息过载对ICU医生在各种重要的任务。事实上,临床医生更注重临床决策的最相关的变量和一个可以理解的可视化工具,而不是神经网络的内部结构。
3.5。从医学角度可解释性的信用违约掉期
解释能力是一个关键因素影响临床医生和患者的态度向基于AI(信用违约掉期34,63年]。四个主题的综述文章:(1)可说明的数据类型,(2)生物标志物,human-AI交互接口(3),(4)可解释性临床医生和患者的需求。
3.6。可说明的数据类型
可解释性基于AI的信用违约掉期由可靠的数据(64年),包括数据源和数据结构。多个数据源,如医院的临床数据,在线问卷调查数据、评价数据规模,病人上传数据的指导方针,和公共数据集数据,用于文学。一般来说,医院的数据是可靠的,含有高维医学信息,但它们容易缺失值或偏差。相比之下,公共数据集标准化和标签由领域专家是高质量的,但他们的可用性是有限的。进一步的研究是必要的,为医院数据的管理和处理人工智能在医学上的应用程序。
数据结构中使用这些文章包括表格、文本、图片、和其他格式。表格数据可以预处理并没有一个特定的转换,计算和相关的元数据表代表医疗信息。文本型数据很容易阅读和理解人类但很难预测计算模型转化为向量。有必要使用等效转换模型的近似模型解释。目标识别是广泛用于疾病诊断,基于图像的深度学习和模型达到理想的性能(11,65年]。人工智能在医学图像处理与解释方法是一个重要的应用程序集成的信用违约掉期在未来,预计提供可解释性和显著的性能。
3.7。生物标记物
生物标志物是指病理生化指标的疾病,药物对治疗的反应,或一个正常的生理过程的一部分,可以明确测量和评估66年,67年]。他们是重要的元素对临床医生和病人理解生物学基础和开发有效的治疗方法3]。从医学生物标志物识别功能,通过lasso-based特征选择(29日和逆变换3)基于线性判别分析(LDA),二次判别分析(QDA)和线性SVM (LSVM),可以简化模型,提高诊断的准确性(51),以及提供信用违约掉期的可解释性。生物标志物表达医学影响临床医生和病人,帮助他们理解模型采用和促进信用违约掉期。然而,它是非常昂贵和耗时的发现、验证,并获得监管部门批准的生物标志物在临床实践中。在未来,生物标志物识别和验证需要进一步的研究。
3.8。Human-AI交互
接口对用户体验有重大影响,终端用户的理解和接受信用违约掉期(68年,69年]。操作human-AI层交互,界面有三个黄金法则:用户的控制,减少用户的记忆负担,和接口的一致性。可视化的图形界面代表了人工智能的属性模型,帮助临床医生了解决策过程的机制,也为患者提供了一个直接获得信息和医生谈谈。信用违约掉期提供有效的解释,调整患者的数据,他们的需求,为临床医生和更好的用户体验使用可视化工具。关注病人,医生回答AI (50)和一个用户友好的界面为患者提供的信息通过网站和打印报告。刘等人。30.)采用交互式可视化指示板显示和解释分数和风险因素。医生指出,在以用户为中心的原则,AI-human接口应该设计一个可以理解的方式表达决策的过程;此外,他们应该发挥识别错误通过可视化的重要变量。对病人,AI-human接口应该用于简单的可访问性的病人的信息和病人的参与。
3.9。临床医生和患者的需求可解释性
临床医生和病人有各种需要为应用程序中的可解释性的信用违约掉期。大多数研究集中在黑盒的问题从技术的角度来看,有限的关注从医学的角度解释能力的必要性。回顾文献,临床医生的需求包括八类:(1)过程的可视化表示为临床医师或临床变量代理决策(2,7,22,29日,30.,51,52,54),(2)病人的数据的可访问性和可靠性(4,17,19,49- - - - - -51,55),(3)接口doctors-patients或人机交互解释结果(4,22,50),(4)对用户透明的结构来验证模型的输出与领域知识(2,7,20.),(5)鉴定生物标记支持决策(3,29日,51),(6)特征选择蒸馏信息过载(9,19,20.,52),(7)规则表示知识的2,19,20.,53),(8)临床医生的需求纳入临床工作流7]。需求的可解释性的病人包括(1)收集患者的数据的症状,身体检查,治疗,和报告的程序和实验室检测(4,17,19,50),(2)接口doctors-patients交互解释结果(50),(3)决策的可视化表示30.,50),(4)患者信息服务与知情同意(17,50]。
4所示。讨论
4.1。主要发现
有越来越多的研究在医疗explainability各种人工智能算法。作为一个系统回顾知识的可解释性和基于数据的信用违约掉期的科技和医学的角度,目前的研究发现,以知识为基础的人工智能主要采用模糊逻辑方法(19,54,决策规则的方法17,53,55),和贝叶斯方法2]。我们的研究结果表明,模糊逻辑方法是最适合解决医疗不确定性但低于粒度和不一致。决策规则的方法表示知识的形式直观地“if - then规则与原油的缺点表现记录。贝叶斯模型采用了概率推断和排名可能的诊断的缺点导致出错率增加。
DB-CDSS有所谓的白和黑盒模型。白盒方法通常使用逻辑回归(LG) [4,7,29日),决策树(22,30.),和贝叶斯49]。逻辑回归模型提供了临床见解的特征的重要性,但它对非线性数据集表现很差。决策树模型是透明的,但它有时overfit。黑盒模型包含支持向量机(3,20.,52,56),随机森林7,8,50),和深度学习8,9,15]。大量的文章综述(14 DB-CDSS和6 KB-CDSS)表明DB-CDSSs收到研究者更多的关注,信号潜在的数据驱动的人工智能技术在医疗应用程序,即使它是残疾的缺乏可解释性。一些研究人员冒险进入混合模型的数据驱动的AI和以知识为基础的人工智能保持平衡性能和可解释性的信用违约掉期在临床实践11,需要更多的研究在这方面的研究。
可解释性对信用违约互换的应用至关重要。信用违约掉期的两种解释方法,ante-hoc方法和事后的方法,在文献中经常使用。Ante-hoc方法包括决策树(22,30.),决策规则(17,53,55),模糊推理(19,54],[贝叶斯模型2),或逻辑回归4,7,29日]。作为ante-hoc方法、模糊逻辑、决策规则和贝叶斯是透明和可翻译的模型。然而,这种信用违约掉期的表现往往与黑盒(3]。事后方法解释方法旨在为黑盒提供可解释性。这些方法包括特征的重要性(8,52),灵敏度分析(3,8),和可视化20.,50,51]。功能重要性显示了重量和大小的特性,但容易受到噪音。灵敏度分析评价结果的不确定性的一个黑盒子对输入的不确定性的来源,但技术上难以实现。可视化,作为内部工作机制或参数的表征,为用户提供可解释性。激活最大化为神经网络和深层神经网络提供了解释。
多源异构的结构,可解释性由医院数据可靠和高维医学信息,表等简单预处理矩阵,和优越的深度学习性能。生物标志物,病理生化指标的疾病,药物对治疗的反应,或一个正常的生理过程的一部分,传达医学临床医生和病人的影响。事实上,它是非常昂贵和耗时的发现、验证,并获得监管部门批准的生物标志物在临床实践中。在未来,生物标志物识别和验证需要进一步的研究。接口和可视化的决策过程或重要变量对用户体验有重要影响,终端用户理解和接受信用违约掉期。
满足临床医生和患者的各种需求可解释性应该cds开发人员的目标。临床医生认为cds帮助决策,识别,避免错误。因此,他们需要可解释性关注可视化表示,可访问性和可靠性的病人的数据,透明的结构、生物标记、特征选择,对知识和规则表示。相比之下,对病人,信用违约掉期应该促进知情同意和提高患者参与。病人的需要可解释性更简单的临床医生,和他们主要关心病人的数据,doctors-patients交互的接口在解释结果可视化表示形式,并与知情同意与患者信息服务功能。
4.2。研究的空白
指出,有四种类型的挑战和差距与临床相关的信用违约掉期的可解释性实践的实现。首先,没有共识的可解释性,信用违约掉期是什么(39),和可解释性的定义往往是局限于打开黑盒子从技术的角度来看,而不是考虑到多学科领域在医学应用45]。未来的研究应该提供一个常见的形式定义可解释性和确定的属性可解释性。其次,如何评估和验证信用违约掉期的可解释性是我们可能面临另一个挑战。现有研究关注一些主观的方法来评估基于ai信用违约掉期的可解释性,如用户体验、满意度、可信赖和认可的系统(70年];然而,解释能力的评价体系仍然缺乏适当的和客观的指标。可解释性的评价体系需要进一步研究。此外,还有有限的研究涉及用户的需要解释,尤其关注什么信息和数据应该包含在解释。用户的担忧,如输入数据的解释,多学科知识用于临床任务,随意的信息输出,和容易理解的接口,应该更加关注。最后,对设计师来说,最大的挑战是如何表达和为用户提供解释。解释策略应该坚持的原则推断按部就班,解释能力,user-familiar条款获得用户验收。数据驱动的AI在合作领域知识11,20.)和交互式可视化在临床过程(7,51)是研究的两个方向的可解释性AI-CDSS在未来。
4.3。限制
尽管有一个全面的文献检索方法,这项研究也有一些局限性。首先,搜索查询没有使用网格方面由于缺乏一致的术语。我们可能会错过一些相关的研究。其次,文章综述了用英语写的,让其他语言的研究。结果,审查可能会错过一些重要的在这一领域的发展。
5。结论
总之,本文探讨了信用违约掉期的可解释性的意义,总结了当前的方法从技术和医学的角度改善可解释性。结果有助于理解信用违约互换可解释性的基于人工智能在卫生保健。核心需求,信用违约互换要求透明结构的可解释性模型,一个可以理解的输入和输出之间的关系,和增强explainability AI算法从技术的角度来看,数据来源,生物标志物,AI-human交互。此外,信用违约掉期的可解释性受到医生和患者的需求。未来的研究应注重建立形式化定义可解释性,识别可解释性的属性,并开发一个适当的和客观的度量可解释性;此外,用户的可解释性和如何表达需求并提供解释也为未来的研究方向。
数据可用性
系统搜索进行interpretability-related从2011年到2020年发表的文献和索引的五个数据库:网络科学,PubMed, ScienceDirect,科克伦,斯高帕斯。
的利益冲突
作者宣称没有利益冲突。
作者的贡献
概念化和设计的研究进行了徐黔Aijin罗∗廖Wenzhao谢,曹国伟胡,柏林。数据收集和分析是由秦路,Zhengzijin杨奂,易律,而悦。徐写初稿是由钱。资金收购和监督是由Aijin罗∗。审查和编辑是由曹国伟胡锦涛和Wenzhao谢。
确认
本研究支持的临床研究湖南省心血管智能医疗中心(批准号2021 sk4005)和长沙的科技计划项目(批准号kq1901133)。
补充材料
多媒体附录1:批判性评估技能项目定性研究(CASP)质量评估。(补充材料)