Shile Qi^1,2, Vince D. Calhoun^3,4,5, Theo G. M. van Erp⁶, Juan Bustillo⁶, Eswar Damaraju³, Jessica A. Turner^3,6, Yuhui Du³, Jian Yang⁷, Jiayu Chen³, Qingbao Yu³, Daniel H. Mathalon^8,9, Judith M. Ford^8,9, James Voyvodic¹⁰, Bryon A. Mueller¹¹, Aysenil Belger¹², Sarah McEwen¹³, Steven G. Potkin⁶, Adrian Preda⁶, Tianzi Jiang^1,2,14 and Jing Sui^*1,2,3,14 

¹Brainnetome Center and National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences, Beijing, China 

²University of Chinese Academy of Sciences, Beijing, China 

³Mind Research Network, Albuquerque, NM, USA 

⁴Department of Psychiatry, University of New Mexico, Albuquerque, NM, USA 

⁵Department of ECE, University of New Mexico, Albuquerque, NM, USA 

⁶Department of Psychiatry and Human Behavior, University of California Irvine, Irvine, CA, USA 

⁷Beijing Engineering Research Center of Mixed Reality and Advanced Display, School of Optics and Electronics, Beijing Institute of Technology, Beijing, China 

⁸Department of Psychiatry, University of California, San Francisco, San Francisco, CA, USA 

⁹San Francisco VA Medical Center, San Francisco, CA, USA 

¹⁰Department of Radiology, Brain Imaging and Analysis Center, Duke University, Durham, NC, USA 

¹¹Department of Psychiatry, University of Minnesota, Minneapolis, MN, USA 

¹²Department of Psychiatry, University of North Carolina School of Medicine, Chapel Hill, NC, USA 

¹³Department of Psychiatry and Biobehavioral Sciences, University of California, Los Angeles, Los Angeles, CA, USA 

¹⁴CAS Center for Excellence in Brain Science and Intelligence Technology, Institute of Automation, Chinese Academy of Sciences, Beijing, China 

　　越来越多的研究结果表明，相对于使用单一模态研究大脑的生理特征或者行为特征之间的关系，多模态脑影像融合从大脑的结构如何影响大脑的功能，大脑功能反映大脑结构信息的程度，是大脑的结构还是功能最终控制人的行为和认知等方面提供了更好的理解被试间变化的方式。现有的多模态融合技术大多是以无监督的形式进行融合，然而越来越多的研究者对挖掘出与某一感兴趣的临床指标(reference，如认知评分、症状评分、单位点基因表达水平)相关的多模态共变模式更感兴趣。隋婧研究员团队提出了一种新的有监督多模态融合技术MCCAR+jICA(图1)，将感兴趣的临床指标作为参考信息来指导多模态融合，能够更加精确的挖掘出针对特定疾病的特定认知子域或者症状的多模态神经影像靶点！我们分别在模拟数据和真实数据集上验证了该方法的有效性。 

　　相较于盲的(无监督的)融合方法，如MCCA，jICA，IVA，有监督的学习模型能够利用影像数据之外的信息来指导融合，更加具有目标导向性，因此能够从庞大复杂的数据集中准确的挖掘出感兴趣的目标成分。该研究是首次以认知子域评分为参考信息来引导多模态融合，挖掘精神分裂症中与工作记忆相关的多模态影像标记的。基于该模型，不仅检测出了与工作记忆显著相关的多模态共变模式，并且该共变模式在独立数据集中得到了复现，进一步说明提出的有监督融合方法在挖掘精神疾病的感兴趣影像标记中具广泛应用前景。该研究的相关研究成果于2018年1月发表在《IEEE Transactions on Medical Imaging》，并已申请发明专利一项。 

　　该文章第一作者为中科院自动化研究所脑网络组中心博士研究生戚世乐，通讯作者为隋婧研究员。该研究得到科技部863计划、中国科学院先导计划、国家自然科学基金项目等资助。

图1 有监督的多模态脑影像融合方法流程图