机器阅读理解软件中答案相关句的抽取算法,本文是关于算法研究硕士毕业论文范文跟阅读理解和抽取算法研究和机器有关在职毕业论文范文.
算法研究论文参考文献：
摘 要：编写机器阅读理解软件中,一个基本步骤就是对于给定问题先在文档中找到和答案相关的语句.目前该领域大部分算法都使用递归神经网络,但由于很难序列并行化,这类算法在长文档上运行很慢.受人类在首次浏览文章时识别与问题相关的段落或语句,并仔细阅读这些内容得到答案的启发,本文采用一个粗糙但快速的模型用于答案相关句的选择.实验在WIKIREADING LONG 数据集上取得了较好的结果.
关键词：机器阅读理解软件；神经网络；答案相关句
中图分类号：TP391.1 文献标识码：A
A Study of the Question-Aware Passage Extraction in Machine Reading Comprehension Software
LIU Haijing
(Department of Computer Engineering ,Taiyuan Institute of Technology ,Taiyuan 030008,China )Abstract:In the programming of machine reading comprehension software,one basic step to extract the relevantsentences from the whole passage according to the given question.Recently,Recurrent Neural Network (RNN) is appliedin most approaches,but it runs excessively slow when dealing with long documents because it is difficult to parallelizesequences.Inspired by the process that people first skim the document,identify relevant parts,and carefully read these partsto produce an answer,the paper proposes a rough but efficient model to extract the relevant sentences.Experiment resultsdemonstrate the good performance on WIKIREADING LONG datasets.
Keywords:machine reading comprehension software;RNN;relevant sentences
1 引言(Introduction)
阅读理解是自然语言理解中的一个关键问题.近年来,随着大规模阅读理解语料的可用性,从无结构化文档中进行问答研究已经成为热门领域[1-3].
与此同时,深度学习也已成为自然语言处理领域的热点,几乎所有的研究热点都已成为深度学习的天下.阅读理解中对于问题相关句的抽取任务也不例外,有许多专家学者利用深度学习来进行问题相关句抽取任务的研究[4-6].
目前,在无结构化文档上进行问答研究的最好方法是基于递归神经网络,该模型将文档和问题进行编码来获得答案.尽管这样的模型能够获得所有相关信息,但是由于模型需要在可能成千上万的词语上序列化运行,并且计算不能平行化而变得很慢.事实上,这样的模型通常是把文档截短,并只考虑有限的一部分词语.受人类第一次浏览文档时识别问题相关部分,认真阅读这部分内容从而产生答案的研究[7-9],本文提出了一种问题相关句选择模型.该模型能快速从文档中选择一些与回答问题相关的句子.
本文认为,答案并不需要显式地逐字出现在输入中(比如,即使没有被显式说明,一部电影的类型也可以轻易确定).此外,答案经常会在文档虚假的上下文中出现很多次(比如,年份2012可能在文档中出现很多次,但真正与问题相关的可能只有一次).因此,本文将句子选择看成是由仅使用增强学习的答案生成模型产生的答案并行训练的潜在变量.据我们所知,在分类研究领域有将句子选择看成是一个潜在变量,但是问答领域尚属首次.
本文展示了一个对于长文档阅读理解的模块化框架和学习步骤.它能够捕获文档结构的有限形式如句子边界,并能够处理长文档.WIKIREADING LONG数据集上的实验结果显示本文模型是有效的.
2 问题设置(Problem setting)
给定一个问题— 文档— 答案三元组的训练集, 我们最终目的就是一个模型能够对问题—文档对生成一个答案.文档是一系列句子的集合.结合语言学研究和人类的直观感知,我们认为答案是可以从一个与问题相关的潜在的句子子集中生成的,这就是本文的研究内容.下面以儿童故事《小猫钓鱼》为例说明研究内容,其中答案出现在子句中.
文档：
：小猫坐在河边跟妈妈学习钓鱼.：蝴蝶飞过,小猫放下鱼竿就去抓蝴蝶； ：蜻蜓飞来,小猫转过身就去追蜻蜓.：一天的时间很快就过去了.：傍晚,小猫低着头,提着空空的篮子跟着妈妈回家了.
问题x：小猫跟着妈妈去钓鱼,他钓到鱼了吗？答案y：没有.篮子空空的.
3 数据(Data)
本文方法在WIKIREADING LONG数据集上进行了测试.
W I K I R E A D I N G L O N G 是一个问答数据集, 由Wikipedia and Wikidata自动生成：给定一个关于某实体的维基页面和维基数据资源,比如职业或性别,目标就是基于该文档推断其价值.和其他最新发布的大规模数据集不同,WIKIREADING LONG并不标注答案界限,这使得句子选择更加困难.
4 句子选择模型(Sentence selection model)
句子选择模型定义了一个给定输入问题x和文档d、基于句子层面的分布.按照近年来在句子选择方面的研究,本文构建了一个前馈网络来定义句子上的分布.我们考虑了三种简单的句子表示：词袋模型、块结构词袋模型、卷积神经网络模型.这些模型能够有效处理长文档,但是不能完全捕获文本的序列性,即句子中词语的位置信息.
4.1 词袋模型
给定一个句子,我们定义了中词语的词袋表示.为了定义文档句子的分布,我们使用了一个标准注意模型,将问题的词袋表示级联到文档中每个句子的词袋表示上,然后输入给一个单层前向网络：
其中, 表示问题和文档中句子的词袋表示级联,矩阵、向量和word embeddings是学习参数.
4.2 块结构词袋模型
为了获得更精细的粒度,我们将句子分割成一些长度固定的小块,并且对每个小块单独进行了打分.这种做法适用于用句子的子块回答问题,在不同小块上学习注意力词袋表示,并和词袋模型一样进行了评分.最终获得了一个块上分布,并通过边缘化相同句子组块来计算句子概率.假定是来自所有句子的块上分布,则有：
,参数与词袋模型参数一致.
4.3 卷积神经网络模型CNN
尽管我们的句子选择模型有快速性要求,我们还是使用了一种卷积神经网络来更好地表达临近词的语义.相对而言,卷积神经网络模型CNN仍然是有效的,因为所有的过滤器可以平行计算.
借鉴了目前该领域的最新研究,我们将问题和句子中word embedding进行了级联,并使用特征抽取器(Filter)和宽度w运行一个卷积层.这产生了每个具有w长度的F特征,我们利用了MaxPooling Over Time来获得一个最终的表示.MaxPooling Over Time是NLP中CNN模型中最常见的一种下采样操作,意思是对于某个Filter抽取到若干特征值,只取其中得分最大的那个值作为Pooling层保留值,其他特征值全部抛弃.值最大代表只保留这些特征中最强的,而抛弃其他弱的此类特征.
在类似于阅读理解的NLP任务中使用Max Pooling的好处在于可以把变长的输入整理成固定长度的输入.因为CNN最后往往会接全联接层,而其神经元个数是需要事先定好的.如果输入是不定长的,那么很难设计网络结构.CNN模型的输入X的长度是不确定的,而通过Pooling操作,每个Filter固定取一个值,那么有多少个Filter,Pooling层就有多少个神经元,这样就可以把全联接层神经元个数固定住.如图1所示.
最后,和词带模型一样,将通过一个单层前向网络计算句子概率.
5 实验(Experiments)
文中使用Word2Vec对训练数据进行处理,每个单词就可以得到对应的word embedding,这是一种低维度向量形式的单词表示,能够表征单词的部分语义及语法含义.
在模型参数的学习方面,本文采用了一种管道模型,使用远距离监督来训练句子选择模型.
实验数据中70%为训练集,10%为开发集,20%为测试集.每篇文档中前35条句子作为启发式模型的输入,其中每条句子最大长度为35.将每篇文档的前5个词语加到句子序列的结尾,并将句子索引编号作为句子表示的一个重要向量.
使用三种方法进行问题相关句子选择的结果,详见表1.
6 结论(Conclusion)
机器阅读理解是自然语言处理任务中的一个核心问题.数据语料集的复杂度、是否引入了世界知识、深度学习模型的改进等都对该问题有重要影响.目前,机器自然语言阅读理解很难对于给定的问题一次性给出答案.本文认为,首先从文档中选择与答案相关的句子是很重要的一个步骤.借鉴了目前最新的研究,本文分别从词袋模型、块结构词袋模型、卷积神经网络模型三种方法来进行考察.结果表明,神经网络方法对于该问题是最有效的.
参考文献(References)
[1] Collobert R,Weston J,Karlen M,et al.Natural LanguageProcessing (almost) from Scratch[J]. Journal of Machine LearningResearch(JMLR),2011,12:2493-2537.
[2] M a s s o n M E . C o n c e p t u a l P r o c e s s i n g o f T e x t d u r i n gSkimming and Rapid Sequential Reading[J].Memory &Cognition,1983,11(3):262-274.
[3] Williams R J. Simple Statistical Gradient following Algorithmor Connectionist Reinforcement Learning[J].MachineLearning,1992,8(3-4):229-256.
[4] Bordes A,Chopra S,Weston J.Question answering with subgraphembeddings[C].EMNLP,2014:615-620.
[5] Tan M,Santos C N,Xiang B,et al.Improved RepresentationLearning for Question Answer Matching[C].Meeting of theAssociation for Computational Linguistics,2016:464-473.[6] Hermann K M,Kocisky T,Grefenstette E,et al.TeachingMachines to Read and Comprehend[C].In Proc. of NIPS,2015,19:1684-1692.
[7] 刘江鸣,徐金安,张玉洁.基于隐主题马尔科夫模型的多特征自动文摘[J].北京大学学报:自然科学版,2014,50(1):187-193.
[8] 谭红叶,赵红红,李茹.面向阅读理解复杂问题的句子融合[J].中文信息学报,2017,31(1):8-16.
[9] 张志昌,张宇,刘挺.开放域问答技术研究进展[J].电子学报.2009,37(5):1-6.
作者简介:
刘海静(1985-),女,硕士,讲师. 研究领域：自然语言处理.
本文点评：该文是一篇关于对写作阅读理解和抽取算法研究和机器论文范文与课题研究的大学硕士、算法研究本科毕业论文算法研究论文开题报告范文和相关文献综述及职称论文参考文献资料有帮助.
谈提高农村高中生高考英语阅读理解题的正答率基于语篇分析和思维导图相结合的策略
【摘要】本文根据笔者所任的农村学校在2018年高三增城调研考中阅读理解题,学生的答题正确率进行分析,得出学生英语阅读思维缺失的现状,分析该现状产生的主要原因,立足课堂,以高考英语阅读理解的命题方向和类.
小学语文的阅读理解教学分析
小学语文可以说是对以后语文学习打基础的一个重要阶段,在这个阶段中,学生的阅读理解教学显得格外重要 而阅读理解教学一直是我们语文教学之中的一个重点难题,为了能够解决这个难题在语文阅读理解教学的时候一定要.
2019年全国卷一英语阅读理解的试题分析
【摘要】 近年来的新课标全国卷极其重视在考查学科素养的基础上,突出对考生作为合格公民应具备的基本素质和“核心价值”的考查,体现了高考所承载的“坚持立德树人,加强社.
语境线索在高中英语阅读理解中的应用
摘 要对于阅读理解来说,是英语教学中的思想基本技能之一,有着极为重要的意义 作为英语语言输入的重要渠道,通过阅读可以提高学生的语感,同时也可以丰富学生的词汇量,帮助学生掌握好英语知识 因此,在教学中教.