- 合金电阻
- 新闻中心
- 多跳问答功能:用于多跳问答的分层图网络
多跳问答功能:用于多跳问答的分层图网络
这是一篇有关多跳质量检查(multi-hopQA)任务的论文。与单跳质量检查不同,多跳质量检查任务下的问题答案需要针对多个段落或章节进行多跳推理。
但是,现有的相关工作仍然存在一些挑战和困难,需要进一步研究:现有的工作将使用类似的信息检索思路来找到问题的相关段落,然后在MRC任务中使用类似的方法来找到答案。问题在于,但问题是:如何汇总散布在不同语义粒度(段落,句子,实体)中的信息,并将其用于对问题答案的联合预测并支持事实发现;为了更好地利用文本中用于发现答案的证据,一些工作通过构造实体级图结构进行推理。
但是,基于实体图的方法可用于预测问题的答案,但不能用于支持事实的发现。基于上述问题,作者设计了HierarchicalGraphNetwork(HGN)来执行多跳QA任务。
与以前的工作相比,它具有以下三个特征:有四种类型的节点,即问题节点,段落节点,句子节点和实体节点。在multi-hopQA下,可以在不同步骤的子任务中使用不同类型的节点;引入预训练语言模型学习文本的上下文表示,获取节点的初始表示,然后通过图网络进一步更新节点表示。
由于问题的答案不一定是实体,因此在预测预测中引入跨度预测以找到非实体问题的答案。具体来说,HGN模型由以下部分组成:GraphConstructionModule:分层图构建模块,包括三个步骤:通过标题匹配选择与问题相关的段落,在段落中查找可以提供指向其他段落的证据的实体和句子上面两边在获得图中所需的节点后,根据规则在节点之间添加上连接边。
ContextEncodingModule:使用Roberta和BiLSTM对文本进行编码,以获取问题节点,段落节点和句子节点的初始表示。 GraphReasoningModule:使用图注意机制在节点之间传输信息并更新节点的表示形式。
Multi-taskPredictionModule:逐步执行以下三个子任务:基于段落节点的段落选择,基于句子节点的事实预测支持,基于实体节点的答案预测以及基于上下文表示和跨度预测的非实体答案预测。作者使用HGN模型在HotpotQA数据集上进行实验。
在这两个任务设置下,两者都对AnswerPrediction和SupportFactPrediction的联合任务都取得了一定的效果。最后,作者进行了一系列分析,包括误差分析,烧蚀实验,不同的预训练模型对实验结果的影响以及不同推断类型下HGN的性能。
但是,现有的相关工作仍然存在一些挑战和困难,需要进一步研究:现有的工作将使用类似的信息检索思路来找到问题的相关段落,然后在MRC任务中使用类似的方法来找到答案。问题在于,但问题是:如何汇总散布在不同语义粒度(段落,句子,实体)中的信息,并将其用于对问题答案的联合预测并支持事实发现;为了更好地利用文本中用于发现答案的证据,一些工作通过构造实体级图结构进行推理。
但是,基于实体图的方法可用于预测问题的答案,但不能用于支持事实的发现。基于上述问题,作者设计了HierarchicalGraphNetwork(HGN)来执行多跳QA任务。
与以前的工作相比,它具有以下三个特征:有四种类型的节点,即问题节点,段落节点,句子节点和实体节点。在multi-hopQA下,可以在不同步骤的子任务中使用不同类型的节点;引入预训练语言模型学习文本的上下文表示,获取节点的初始表示,然后通过图网络进一步更新节点表示。
由于问题的答案不一定是实体,因此在预测预测中引入跨度预测以找到非实体问题的答案。具体来说,HGN模型由以下部分组成:GraphConstructionModule:分层图构建模块,包括三个步骤:通过标题匹配选择与问题相关的段落,在段落中查找可以提供指向其他段落的证据的实体和句子上面两边在获得图中所需的节点后,根据规则在节点之间添加上连接边。
ContextEncodingModule:使用Roberta和BiLSTM对文本进行编码,以获取问题节点,段落节点和句子节点的初始表示。 GraphReasoningModule:使用图注意机制在节点之间传输信息并更新节点的表示形式。
Multi-taskPredictionModule:逐步执行以下三个子任务:基于段落节点的段落选择,基于句子节点的事实预测支持,基于实体节点的答案预测以及基于上下文表示和跨度预测的非实体答案预测。作者使用HGN模型在HotpotQA数据集上进行实验。
在这两个任务设置下,两者都对AnswerPrediction和SupportFactPrediction的联合任务都取得了一定的效果。最后,作者进行了一系列分析,包括误差分析,烧蚀实验,不同的预训练模型对实验结果的影响以及不同推断类型下HGN的性能。