伊坎医学院和密歇根大学的研究人员表示,医疗保健领域基于机器学习的模型可能会成为其自身成功的受害者。他们的研究评估了实施预测模型对这些模型和其他模型的后续性能的影响。
他们的发现——使用模型来调整护理的提供方式可能会改变模型“训练”所依据的基线假设,往往会变得更糟——详细发表在 10 月 9 日的《内科医学年鉴》在线期刊上。
第一作者兼通讯作者、数据驱动和数字医学临床讲师 Akhil Vaid 医学博士表示: “我们希望探索在医院部署机器学习模型并影响医生决策以实现患者整体利益时会发生什么。” (D3M),隶属于西奈山伊坎医学系。
“例如,我们试图了解当患者免受肾损伤或亡等不良后果时会产生更广泛的后果。人工智能模型具有学习并建立输入患者数据与相应结果之间相关性的能力,但使用这些模型,定义,可以改变这些关系。当这些改变的关系被重新记录到医疗记录中时,就会出现问题。”
该研究模拟了纽约西奈山医疗系统和波士顿贝斯以色列女执事医疗中心这两个主要医疗机构的重症监护场景,分析了 130,000 例重症监护入院病例。研究人员调查了三个关键场景:
1.初次使用后的模型再训练
当前的实践建议重新训练模型以解决随着时间的推移性能下降的问题。再培训最初可以通过适应不断变化的条件来提高绩效,但西奈山的研究表明,它可能会破坏表现和结果之间习得的关系,从而矛盾地导致进一步退化。
2. 在使用一个模型后创建一个新模型
遵循模型的预测可以使患者避免败血症等不良后果。然而,脓症可能导致亡,而该模型可以有效地预防这两种情况。未来开发的任何预测亡的新模型现在也将像以前一样受到不稳定关系的影响。由于我们不知道所有可能结果之间的确切关系,因此来自受机器学习影响的护理的患者的任何数据可能不适合用于训练进一步的模型。
3. 两种预测模型的同时使用
如果两个模型同时进行预测,则使用一组预测会使另一组预测变得过时。因此,预测应该基于新收集的数据,这可能成本高昂或不切实际。