视觉基础模型
01研究可迁移于多模态、多病种场景的医学影像视觉表征学习方法,支持病灶识别、解剖分割、风险分层与定量影像标志物提取。
医学影像人工智能实验室 · 上海交通大学影像医学研究所
我们研究医学影像中的疾病识别、诊断推理、定量分析与图像重建方法,围绕视觉基础模型、多模态学习与空间物理建模开展研究,通过多中心临床数据与放射科医生阅片评估检验方法表现,并探索影像表征背后的生理与病理机制。
我们的研究关注模型如何学习跨模态医学影像表征、如何融合报告与病史等临床信息进行推理、如何恢复精细解剖结构,以及如何建立影像结构与生理功能之间的定量联系。
研究可迁移于多模态、多病种场景的医学影像视觉表征学习方法,支持病灶识别、解剖分割、风险分层与定量影像标志物提取。
融合医学影像、检查报告、临床病史与指南标准,探索诊断推理、治疗建议评估与结构化报告生成,结合多中心阅片研究检验输出可靠性。
研究超分辨率重建、低剂量去噪、伪影修复与跨模态图像合成,重点关注生成结果对细微解剖结构与定量诊断信息的保真度。
结合三维解剖建模、多期相配准、血管血流动力学与骨肌生物力学仿真,研究影像解剖形态与生理功能、临床事件之间的定量关联。
面向大规模临床影像表征学习、跨模态推理与微结构超分辨重建,结合多中心独立队列与放射科医生对照阅片研究开展系统验证。
基于 DINOv2 式自监督预训练构建全身骨骼 CT 基础骨干网络 BoneFM,并将放射科医生的阅片推理路径编码为显式任务依赖链,从解剖部位定位、骨密度改变逐步推理至骨转移病灶定性,在多中心队列中验证了可解释的骨转移评估性能。
在 103,989 例腹部平扫 CT 上完成自监督预训练并在 5,816 例精细标注病例上微调,覆盖 11 类急腹症识别与 3 项危重风险分层任务。在 3 个独立外部队列(2,528 例)上危急病种宏平均 AUROC 达 0.919;交叉辅助阅片试验将医生平均 AUROC 从 0.812 提升至 0.924,单病例中位阅片时间缩短 52.5 秒。
模拟卒中多学科诊疗团队(MDT)分工,通过协同智能体串联急诊分诊、发病时间窗研判、多模态神经影像解读、溶栓/取栓禁忌证筛查与检索增强指南推理。在双中心 1,658 例疑似急性缺血性卒中回顾性队列中,将治疗方案推荐准确率从 0.636 提升至 0.785(Macro-F1 由 0.562 升至 0.768)。
围绕「由脑 MRI 报告影像所见(Findings)自动归纳诊断结论(Impression)」这一核心工作流任务,构建跨中心真实病例基准与放射科医生结构化盲法评价体系,系统对比评测了 10 种主流大语言模型在准确性、完整性与临床可用性上的表现与局限。
发布首个空间配准的人体腰椎常规临床 CT 与高分辨率离体光子计数显微 CT(Micro-CT)配对数据集,架起活体常规辐射剂量成像与微米级骨小梁三维微结构之间的桥梁,并配套公开基准评测代码与学术挑战赛。
针对急性缺血性卒中紧迫救治时间窗内的多源临床信息整合难题,设计影像要点提取、神经功能临床特征解析与指南规则核验的分层智能体工作流,在多中心卒中数据上完成验证并提供在线交互演示系统。
科研并非只有超大规模预训练——从解剖变异、血流生理机制与日常临床疑难问题出发,结合专病队列构建、三维定量测量、手术仿真或轻量化提示工程,同样能产出扎实的同行评审成果。以下均为实验室研究生与医学生主导发表的代表性临床与医工结合工作:
纳入多中心 433 例患者的颈动脉黑血 MRI 自由文本报告,评测 10 种大模型并开展 4 名放射科医生辅助判读研究。研究证明:将改良版 AHA 斑块分型临床判读准则结构化编码进提示词后,本地可部署的 8B 轻量级模型即可有效提升医生间分型一致性。
从急性肺栓塞导致肺循环阻力升高、右心后负荷增加与左心回流减少的病理生理机制出发,基于肺动脉 CTA 提取「肺动脉—肺静脉体积差」这一直观定量影像标志物,为急诊肺栓塞严重程度评估与风险分层提供可解释的定量依据。
针对寰椎后桥(Ponticulus Posticus)解剖变异易改变骨性标志并增加椎动脉损伤风险的临床痛点,基于 141 例颈部 CTA 开展三维螺钉轨迹仿真(PedicleScrewSimulator),建立术前定量解剖筛选与置钉风险评估流程。
依托医院连续 16 年急诊创伤影像队列,系统揭示颅颌面外伤患者发生急性颅内损伤的年龄相关性风险规律,重点识别出「孤立性面部骨折老年患者」这一隐匿高危人群,直接服务于急诊头颅 CT 检查指征优化。
正在加载最新动态…
实验室由李跃华教授领衔,张瑞鹏、韦建雍、孙正担任课题组 PI,扎根上海市第六人民医院放射介入科临床一线,汇聚放射科医师、人工智能研究人员、博士后及博硕士研究生。
欢迎国内外团队开展多中心合作;长期招收医学影像人工智能、计算机视觉与多模态学习方向的博士与硕士研究生(含医工交叉、医学技术与临床方向)、博士后及访问学者。请附简历发送至 [email protected]。
我们非常鼓励临床医学(五年制 / 八年制)、医学技术学院(医学影像技术等)、生物医学科学、口腔及预防医学等各专业本科生尽早走进临床科研!无需预先具备深度学习编程基础——实验室提供「一线放射科医师 + AI 算法导师/高年级博硕」双带教机制,可从专病队列分析、三维解剖定量、手术仿真或临床大模型评测平滑切入,支持个人报名或已组队小组联系指导。
请简单介绍年级、专业与感兴趣的方向,邮件联系张瑞鹏老师:[email protected]