Nat Commun：模态投影模子成大夫影象“智能翻译官”，破解多模态朋分困难助力诊疗与脑-体研究

当放射科大夫同时面临CT的骨骼细节、MR的软组织成像和PET的代谢旌旗灯号时，若何快速精准地定位病变、量化剖解布局，一向是临床诊断中的辣手问题。深度进修虽年夜幅鞭策医学影象阐发前进，但跨多种成像模态的通用模子，因模态间特点差别显著，持久困扰着范畴成长。

近日，一项颁发在Nat Commun的研究给出了谜底——研发的模态投影通用模子（MPUM），为全身体医学影象的综合阐发与临床利用打开了新年夜门。

该模子以861名受试者的影象数据为根本完成练习，借助模态投影策略能动态适配分歧成像模态的特点差别：不但实现当前最优的全身体器官朋分结果，为计较机辅助诊断供给快速剖解定位与精准量化撑持，还经由过程基在节制器的卷积层实现显著图可视化，让模子在临床利用中的可注释性年夜幅晋升。更主要的是，MPUM还能揭露脑-体轴和分歧脑区间的代谢联系关系，从全身体视角为系统心理交互研究供给要害新标的目的。

为验证MPUM的临床价值与科研潜力，研究团队设计了三年夜焦点案例。在剖解布局辨认使命中，研究将MPUM与CDUM、PCNet、STUNet等主畅通用朋分模子，和调剂参数后的3D UNet进行对照，并测试了模态夹杂、模态特异性和模态投影三种练习策略。成果显示，模态投影策略在所有使命中表示最优：MRI身体朋分的Dice系数达0.7751、概况Dice系数为0.5471，CT脑部门割的Dice系数达0.7419，均显著优在其他两种策略。在单一器官阐发中，MPUM在跨越60个器官的朋分上获得统计学意义的显著晋升，特别对血管、肌肉骨骼区域和腹部小器官等难朋分布局，优势更加较着。

图1 | 模态投影通用模子（MPUM）概述

图2 | MPUM与进步前辈朋分模子的机能对照

在颅内出血这一危和生命的急症诊断中，快速精准辨认直接影响患者预后。研究团队先在Instance2022数据集上对MPUM进行微调，使其能从CT头部扫描中精准检测并量化出血区域——好比自立辨认出左边岛叶3868立方毫米的出血灶，和左边壳核2241立方毫米的出血灶。后续临床验证中，3名低级放射科大夫在借助MPUM供给的病灶掩码和脑区图谱后，诊断正确率从平均约71.4%晋升至90.5%，已接近资深放射科大夫的程度，有用解决了低级医师常呈现的出血区域辨认不全、相邻脑区混合等问题。

图3 | MPUM作为辅助诊断东西的机能表示

在多器官代谢联系关系阐发中，研究团队操纵MPUM阐发了50名癫痫患者和22名健康对比者的全身体PET/CT数据，共鸣别出203个有用感爱好区域，并阐发了近20503组代谢联系关系对。成果发现，癫痫患者中有228组脑-脑代谢联系关系呈现显著转变，此中右边前颞叶外侧部、右边中颞下回等癫痫病灶常见区域的代谢联系关系改变尤其凸起；同时还不雅察到，惨白球与T1至T12椎体间的代谢联系关系在癫痫患者中产生显著扰动。另外，对阿尔茨海默病相干数据的阐发显示，MPUM能辨认出轻度认知障碍与阿尔茨海默病患者中颞下回、顶叶皮层等区域的代谢联系关系异常，为这类神经退行性疾病的生物标记物发现供给了主要撑持。

图4 | 基在通用模子的儿童癫痫多器官代谢联系关系阐发

从机制上看，MPUM的浅层收集首要提取边沿、纹理等模态无关的低条理语义特点，深层收集则专注捕获模态特异性的高条理语义特点；显著图阐发进一步显示，浅层收集聚焦影象的轮廓和纹理信息，深层收集则慢慢细化感爱好区域，且CT、MR、PET三种模态的显著图各有偏重——CT图重视轮廓、MR图凸起软组织细节、PET图聚焦代谢活性区域，这一特点进一步保障了模子的临床可注释性。

图5 | 显著图与特点算子的综合可视化

综上，这项研究成功冲破了多模态医学影象通用朋分的手艺瓶颈。其全身体器官朋分的高精度表示，能直接晋升临床诊断的效力与正确性，为年夜范围影象阐发供给高效东西；而解析脑-体代谢联系关系的能力，又搭建领会剖布局与代谢信息之间的桥梁，为跨器官疾病机制研究奠基了根本。将来，跟着MPUM在更多临床场景的落地利用，它有望成为放射科大夫的“智能助手”，深度融入临床AI流水线，成为影象驱动型诊疗的焦点支持，为精准医疗的成长注入新动能。（Bioon.com）

参考文献：

Chen, Y., Gao, L., Gao, Y. et al. Modality-projection universal model for comprehensive full-body medical imaging segmentation. Nat Commun 16, 9423 (2025). https://doi.org/10.1038/s41467-025-64469-w