根据放射学杂志上发表的一项研究，一种新的人工智能 (AI) 模型将成像信息与临床患者数据相结合，以提高胸部 X 光的诊断性能。

临床医生在诊断疾病时会考虑影像学和非影像学数据。然而，当前基于人工智能的方法是专门为解决一次仅使用一种类型数据的任务而定制的。

基于 Tranormer 的神经网络是一类相对较新的人工智能模型，能够结合成像和非成像数据以实现更准确的诊断。这些变压器模型最初是为人类语言的计算机处理而开发的。此后，他们推动了ChatGPT 和 Google 的 AI 聊天服务 Bard 等大型语言模型的发展。

“与用于处理成像数据的卷积神经网络不同，变压器模型形成了一种更通用的神经网络类型，”该研究的主要作者 Firas Khader 博士说。德国亚琛大学医院诊断和介入放射科的学生。“它们依赖于所谓的注意力机制，该机制允许神经网络了解其输入中的关系。”

这种功能对于医学来说是理想的选择，因为患者数据和影像学结果等多个变量通常会集成到诊断中。

Khader 和同事开发了一种专为医疗用途而设计的变压器模型。他们使用来自两个数据库的成像和非成像患者数据对其进行训练，其中包含总共超过 82,000 名患者的信息。

研究人员训练模型使用非成像数据、成像数据或两者的组合(称为多模态数据)诊断多达 25 种病症。