研究方向四医学超声大模型与具身智能诊疗

01

多模态超声大模型

面向医学超声智能化发展的前沿趋势，团队积极布局多模态医学大模型与具身智能诊疗系统研究，探索让超声设备具备更强的图像理解能力、医学推理能力和临床交互能力，推动医学超声从传统影像设备迈向智能化、交互化和自主化的新阶段。

在多模态超声大模型方向，团队面向超声图像低分辨率、噪声干扰强、解剖结构辨识困难以及报告生成依赖医生经验等问题，构建了融合影像感知、部位识别与医学知识映射的超声大模型框架。该方法以超声图像和临床语义信息为输入，结合构建的超声低分辨率场景分类模型与专家知识映射机制，引导大模型准确区分不同扫查部位、解剖结构和诊断内容，并生成符合医学表达规范的超声报告。实验结果表明，团队提出的模型能够提升超声影像理解、结构化描述和辅助报告生成能力，为后续构建面向临床场景的通用多模态超声大模型与智能诊断系统奠定基础。

03

甲状腺具身智能诊疗系统

在此基础上，团队进一步将大模型与机器人超声系统相结合，开展具身智能诊疗系统研究。团队研发的甲状腺具身智能诊断系统将多模态大模型与甲状腺超声扫查机器人相结合，集成 RGB-D 深度感知、语音交互、关键点检测、实时图像分析、扫查路径规划和力位混合控制等技术，可实现甲状腺区域定位、自动化扫查导航、实时质量控制、病灶识别分析和结构化报告生成。相关系统已在中山大学附属第一医院等临床场景中开展测试与验证，为未来远程超声、基层筛查、智能质控、精准介入和自主化诊疗装备奠定了重要基础。