论文阅读 HEAL

发表于 更新于 分类于

Title: A Knowledge Graph for Distress Management Conversations

论文速览

Abstract

  • 相比于seq2seq的不确定性，聊天机器人利用知识图谱进行推理，被视为端到端模型的高效、万无一失的解决方案
  • 提出HEAL知识图谱
    • 基于1M痛苦叙述及其相应的安慰回应而开发的知识图谱
    • 图谱可视化：表现了对话双方的情绪动态和帮助缓解情绪的有效方法
    • 组成部分
      • 22k Node 节点：识别不同类型的stressors, speaker expectations, responses, feedback types
      • 104k Edge 连接：不同类型的节点之间的关系
      • 每个节点和41种情绪状态相关联

Introduction

  • 神经网络架构模型缺乏可控性和黑箱性质，导致其并不可靠
  • 使用常识推理和知识图结构表示，可以生成适合的、可预测的、多策略的回应
  • 相关工作
    • ConceptNet、ATOMIC主要是通过捕获事实知识，在开放对话中嵌入常识推理辅助对话，不适用于移情对话
  • 本文，通过子Reddit精心选择的对压力事件叙述和回应，生成了一个压力对话管理知识图谱HEAL
    • 五类节点：压力源、期望、回应类型、反馈类型、情感状态
    • 可以准确描述以痛苦为导向对话的潜在背景，使对话模型可以检索到更具体的上下文响应。提取响应会导致的反馈类型和是否能达到期望等信息，从而产生更为合适的反应
  • 知识图谱可以帮助NLP理解用户的输入，拓展用户输入中的事实和常识性知识
  • 目前工作关注于知识感知和推理对话，不会捕捉情感推理和移情反应

Methodology

  • 数据集管理
    • 采用reddit数据集，通过Pushshift API，收集和处理8个子reddit对话主题：mentalhealthsupport、offmychest、sad、anxietyhelp、depression、suicidewatch、depressed、depressionhelp
    • 数据预处理
  • 概要
    • 针对过长而超出预训练语言模型输入上限的对话，本文采用SMMRY摘要算法保留叙事本质
  • 凝聚聚类
    • 自动聚类：区分对话中的压力源、期望、响应和反馈类型
    • 凝聚聚类法：递归地合并增加最小链接距离的簇对
    • 链接距离：对SentenceBERT生成的embedding使用余弦相似度计算
  • 定义压力源
    • 每个阈值计算了各种聚类质量指标，结果显示以0.85的相似度阈值区分压力源最合适，将压力源中的4.7%分为了4363个类。
    • 将聚类结果按照TF-IDF建模，可以明显区分压力源，表明聚类结果的可靠性。
  • 期望、回复、反馈类型
    • 提取带有❓的句子作为问题，以此问题提取相关的响应和反馈。使用NLTK分离响应和反馈中的单个对话，方便后续对其进行单一种类的聚类。
    • 聚类方法与压力源一致，每个集群至少有两个不同的集群元素。
  • 情感状态建模
    • 使用Pu提出的基于BERT的情感分类器，将每一个簇与某一情感状态相关联，共有41种情感状态。先将每一个簇下的每个文本进行分类，再按照情感出现次数和分类置信度排序，选取最相关的情感状态。

Statistical Analysis

  • HEAL知识图谱：2.2k集群节点和情感状态，104k连接
  • 反馈集群中，负面情绪明显减少，证明HEAL中存在帮助人们降低负面情感状态的有用响应

Visualization and Interpretation

  • 表示大多数回答都是正向积极反馈

Evaluating the Utility of HEAL in Responding to Distress Prompts

  • 获取共情响应
    • 从测试集中选取和压力源中现有叙述相似性高于0.75的新对话
    • 根据压力源和响应之间边权的权重、响应簇大小进行排序，选择排名高的响应
  • 自动评估
    • HEAL的响应更加多样化，可以根据给定的情况给出特定的响应
    • 在其他自动指标BLEU、METEOR和ROUGE方面表现不佳
  • 人类评估【DOI: 10.18653/v1/d16-1230】
    • HEAL模型变现更好

Discussion and Conclusion

  • HEAL：利用Reddit上约1M个与痛苦相关的对话得出的知识图谱。在不同类型的压力源、说话者期望、求助者反应和求助者反馈类型之间形成联系，同时将每个节点与41种情感状态中的一种联系起来

关注的问题 / 本文的优势

  • 端到端对话经常会产生通用和重复性对话，缺乏可控性。使用常识推理和知识图结构表示，可以生成适合的、可预测的、多策略的回应。
  • 目前的知识图谱不适用于移情对话。移情领域缺乏数据集和模型帮助产生移情反应，还缺乏具有上下文-相应之间关系的知识图谱。

解决方法 / 创新点

  • 开发大规模知识图谱HEAL，识别不同的压力源、期望、响应、反馈和该对话的情感状态
  • 统计和可视化分析，识别导致情绪强度降低的有利反应
  • 评估通过HEAL检索到的回应，在解决情感困扰问题上的共情性、多样性、可靠性

实验结论

  • 与RoBERTa、Blender进行比较，HEAL能够产生更多样化、更移情的反应
  • 统计和可视化分析证实了在HEAL中存在有用的反应策略，这些策略降低了遭受痛苦的人的负面情感状态
  • 使用纯生成模型来解决痛苦存在危险，HEAL通过战略性地识别与给定提示相关的特定压力源来避免不适当的反应

有待提升的部分

  • 只使用了压力源与回复的边缘权重，进一步可以通过将边缘权重与说话者的期望和反馈结合起来来开发
  • 知识图的信息可以用于增强神经反应生成模型，并为这些模型引入更多的可控性和可解释性，从而提高可靠性
  • 仅限于识别≈4K的压力源，可以从网络上获取更多数据来增强知识图谱，这将帮助其能够处理更大范围的压力源和期望