视频中的多模态矛盾/犹豫识别：用于个性化数字健康干预

arXiv:2604.11730v5 公告类型：replace-cross 摘要：健康干预借助行为科学，通过提供帮助患者养成并保持健康习惯的框架来促进其行为改变，从而改善医疗效果。面对面干预成本高且难以规模化，尤其是在资源有限的地区。数字健康干预提供了一种具有成本效益的方法，有望支持独立生活和自我管理。近年来，借助机器学习实现此类干预的自动化受到广泛关注。矛盾和犹豫（A/H）在个体延迟、回避或放弃健康干预的过程中发挥着主要作用。A/H 是细微且相互冲突的情绪，使人处于对某种行为的正面评价与负面评价之间，或处于接受参与该行为与拒绝参与之间的状态。它们表现为不同模态之间或同一模态内部的情感不一致，例如语言、面部表情、声音表达和肢体语言中的不一致。尽管可以培训专家识别 A/H，但将其整合到数字健康干预中成本高且效果较差。因此，自动化 A/H 识别对于实现数字健康干预的个性化和成本效益至关重要。在本文中，我们探讨了深度学习模型在视频 A/H 识别中的应用，这一天然属于多模态任务。具体而言，本文涵盖三种学习设置：监督学习、用于个性化的无监督域适应，以及通过大型语言模型（LLMs）进行零样本推理。我们的实验在独特且近期发布的 BAH 视频数据集上开展，该数据集用于 A/H 识别。结果显示模型性能有限，表明要准确识别 A/H，还需要更加适配的多模态模型。为了利用模态内部及模态之间的冲突，有必要采用更好的时空建模和多模态融合方法。