交互是感知外界信息，，并给出合适反馈的一个持续过程。。外界的信息包括语音
、、、、文字、、影像、、、图像
、、、视频等。
。在医疗场景，
，
，，当前需要感知的信息包括医患对话音频、、
、、医学影像、、、、医学文书
、
、
、
、医患情绪、、脑电信号、、、、心电信号等。。。传统单独使用和建模的方式，，，无法有效关联多种信息的内部联系。
。仙宝丽生物医疗提出基于Encoder-Decoder的新一代感知建模通用框架。。。解决了传统框架中分开建模带来的信息损失，，
，，训练过程复杂的人工标注
，，多种信息不能混合建模等问题
。。