科研动态
学术沙龙(七):医疗多模态智能框架与大模型记忆机制专题研讨
时间:2026-06-11

2026 年 6 月 10 日下午 14:00,我院在润知楼 201 会议室举办第七期学术沙龙。本次活动邀请黄至辉教授、李小森副教授作专题学术报告,全院师生到场参会,围绕医疗人工智能、大语言模型基础理论两大前沿方向开展交流研讨。

沙龙上半场,黄至辉教授作题为《用于心脑血管疾病的诊治支持的分层自适应多模态框架》的专题分享。报告立足心脑血管疾病临床诊疗现存的数据异构、多源信息难以协同研判、便携监测设备算力不足等现实问题,逐层介绍整套分层自适应多智能体技术体系。

第一部分,黄至辉教授对多智能体分层框架整体架构进行梳理,阐释多级智能体的调度逻辑与自适应协同运行机制;第二部分围绕心脑血管专科检索增强生成智能体展开讲解,结合临床病历、诊疗规范知识库,介绍面向心血管病症的检索推理实现路径;第三部分阐述多专家协同智能体设计思路,模拟多科室专家会诊逻辑,实现心电、影像、检验多维度数据联合分析,提升诊断结果可靠性;第四部分面向居家健康监测场景,介绍适配移动、可穿戴医疗设备的轻量化小语言模型,通过模型压缩优化,实现终端低功耗血管健康实时筛查。

报告结束后,现场大数据教师针对多模态临床病历、影像数据清洗对齐的技术难点展开咨询,询问框架内异构数据统一标准化处理方案;主攻嵌入式开发的教师关注穿戴端小模型的量化压缩精度损耗问题,请教模型轻量化与诊断准确率之间的平衡策略。黄教授逐一结合自身项目实践案例细致作答。

     沙龙下半场,李小森副教授以其 2026 年亚太人工智能教育大会投稿论文《Reshaping Energy Landscapes with Structural Constraints: Eliminating Spurious Minima in Associative Memory》为核心内容开展专题分享。开篇系统梳理霍普菲尔德经典联想记忆模型的基础理论,剖析传统能量模型普遍存在伪极小值、记忆混淆、长序列遗忘等固有缺陷;随后建立经典关联记忆架构与 Transformer 注意力机制之间的理论对应关系,从能量优化视角,阐释现有注意力计算流程易催生局部无效最优解的内在成因。

针对上述痛点,李教授详细介绍论文提出的结构约束优化方案:通过向模型能量函数引入结构化正则约束,对多模式混杂的混合吸引子施加惩罚,在保留有效记忆吸引域的同时消除伪极小值,重塑全局能量景观。他依托同步可视化对比实验,直观展示相同噪声初始条件下,优化前后模型状态演化、能量下降路径的差异,验证该方法不会强制单一输出结果,具备良好适配性。报告最后点明研究结论:仅依靠统计损失目标难以保障模型推理稳定性,将结构约束直接纳入能量函数是兼具理论严谨性与可解释性的优化路径。

本次学术沙龙兼顾医疗智能系统应用研究与大模型底层基础理论,覆盖多模态融合、多智能体协同、能量优化、联想记忆等关键研究方向,有效拓宽青年教师科研选题视野,为我院人工智能与多领域交叉学科建设夯实学术交流基础。