问题理解增强阅读理解方法研究论文设计
I 问题理解增强的阅读理解方法 研究
Machine Reading Comprehension based on Question Understanding Enhancement
中 中
文
摘
要
机器阅读理解是指基于给定上下文机器自动回答相应的问题[1] ,不仅是人工智能及自然语言处理领域的一个研究热点,更是一个挑战。机器是否正确、充分地理解问题是研究阅读理解任务的关键和基础。本文针对模型对问题理解不充分提出了相应的解决策略,主要工作如下:
(1)提出一个基于多维度问题理解的阅读理解方法。本文通过问题类型识别、问题重要词识别、添加外部知识等多个维度提高模型对问题的理解。多维度问题理解的解答策略的主要思想是:a.人工标注部分数据训练一个初标注 TextCNN 模型并得到所有数据的问题类型;b.通过句法分析树和人工制定的规则获得问题的重要词;c.针对问题重要词在模型中加入外部知识;d.将之前所有的信息融入到阅读理解模型中。在 DuReader2.0 数据集上进行方法检验,融入多维度问题理解的阅读理解模型比基线模型的 Rouge-L 值和 Bleu-4 值分别提高了 8,2%、7%。
(2)针对隐式问题提出了相应的理解策略。我们将不包含疑问词的问句定义为隐式问题,处理此类问题的主要思想为:a.首先判断问句是否为隐式问题;b.对隐式问题进一步分为两类:一般隐式问题和复杂隐式问题;c.针对一般隐式问题,基于规则的方法添加疑问词将其转换为显式问题;针对复杂隐式问题,依据问题答案使用TextRNN 模型识别问题中缺失的疑问词并将其转换为显式问题。实验结果表明:融入隐式问题处理的阅读理解模型比基线模型的
II Rouge-L 值和 Bleu-4 值分别提高了 3.6%、2%,融入隐式问题处理和多维度问题理解方法的阅读理解模型比基线模型的 Rouge-L 值和Bleu-4 值分别提高了 9.5%、7.8%。
(3)设计并实现了一个针对中文篇章片段抽取式的阅读理解原型系统。本文依据上述研究方法设计并实现了一个针对中文篇章片段抽取式的阅读理解系统。本系统解答的大致思路为:首先对问题和篇章进行预处理,并判断问题是否为隐式问题,如果是则先将其转换为显式问题,如果不是不做任何处理;然后对问题进行分类、识别问题中的重要词,针对问题中的重要词加入相应的外部知识,并将以上问题的特征一起输入到阅读理解模型中;最后,通过 attention 机制对篇章和问题交互建模,从篇章中找到与问题句关系较大的句子作为答案句输出。
本文提出的融入隐式问题处理多维度问题理解的阅读理解方法在对真实问题的解答上取得了一定的效果,说明该方法使模型更有效的理解问题。
关键词:多维度;隐式问题;问题理解;阅读理解
III
ABSTRACT Machine reading comprehension means that the machine automatically answers questions relevant to the given context. It is not only a research hotspot in the field of artificial intelligence and natural language processing, but also a challenging task. Whether the machine understands questions correctly and comprehensively is the key and foundation of reading comprehension. In this paper, we proposes corresponding solutions for the models do not fully understand questions. The main works of this article are as belows: (1) The reading comprehension method based on multi-dimensional questions understanding is proposed. This paper improves understanding of questions in the model through the multiple-dimensional method such as question types, question important words, and the external knowledge. Firstly, the TextCNN model is trained get all data types using the human-annotated data and; secondly, the question important words are obtained through syntax analysis tree and rules; then, add question important words’ external knowledge to the model; finally, we integrate all information about questions into the reading comprehension model. The experiments on relevant dataset show that: with the integration of multi-dimensional questions understanding, the metrics of Rouge-L and Bleu-4 of the reading comprehension model increase by about 8.2% and 7% respectively . (2) The reading comprehension strategy based on implicit questions is explored. We define implicit questions that the question excluding
IV interrogative word. The main idea for dealing with this questions is to transform implicit problems into explicit problems. First of all, we judge whether a question is an implicit question. The next, the implicit problem is divided into general implicit problem and complex implicit problem.
For general implicit questions, we add the missing interrogative words to question based on rules. For complex implicit questions, we use the TextRNN model to identify missing interrogative words to question based on the answer and turn it into an explicit question. Lastly, we incorporate it into the reading comprehension model. Experiments show that: the metrics of Rouge-L and Bleu-4 of the proposed method increase by 3.6% and 2%, respectively;the metrics of Rouge-L and Bleu-4 of the final model increase by 3.6% and 2%, respectively . (3) A prototype reading comprehension system for Chinese text is implemented. we implement a reading comprehension system based on the above methods. First, this system preprocesses the questions and the contexts and determines whether the question is implicit question. If the problem is an implicit problem, it will be converted to an explicit problem. If the problem is not an implicit problem, nothing will be done. Next, question types, question important words and external knowledgeis are integrated into the reading comprehension model. Finally, the informations of contexts and questions are obtained through the attention mechanism. And the sentences of context that has the most relationship with the question are found as the answer. The reading comprehension strategies are proposed in this article, which incorporates implicit problem processing and multi-dimensional questions understanding. The methods has achieved gerat results in reading comprehension model, indicating that the methods make the model understand questions more effectively.
Key words :multidimensional;implicit problem;question understanding; reading comprehension
第一章 绪论
1 第一章
绪论
本章主要介绍研究任务的背景及意义,国内外针对阅读理解和问题理解两方面的研究现状,并简要介绍了论文主要的研究内容和组成结构。
1.1 研究背景及意义 早在 20 世纪 70 年代,随着人工智能的发展,人们越来越意识到机器理解文本的重要性,机器阅读理解技术研究随之开始。所谓阅读理解,是指给定一段篇章和相关问题,要求机器准确理解问题和篇章所表达的信息并自动给出相应的答案。阅读理解是人工智能领域的一项重要任务,其研究可以极大的促进自然语言的进步。
1999 年,Hirschman 提出了第一个阅读理解系统——Deep Read [2] ,该系统采用模式匹配技术和附加的自动化语言处理技术(词干提取、名称识别、语义类识别和代词解析),并发布了一个基于 3-6 年级小学生故事的阅读理解数据集,促进了机器阅读理解任务的发展。近年来,研究学者主要利用人工神经网络对阅读理解开展研究工作,主要思想是将问题和篇章共同作为输入进行嵌入式表示和编码,然后通过注意力机制对两者建模获得交互信息,最终从篇章中选取合适的片段作为答案输出。例如,Attentive Reader 模型、AOA Reader 模型、Match-LSTM模型等。除此之外,国内外许多科研机构、高校和公司对阅读理解的关注越来越多,创建了大量英文、中文阅读理解数据集,极大地促进了阅读理解技术的发展。例如:多项选择型数据集 MCTest;填空型数据集 CNN&Dailymail;片段抽取型SQuAD 数据集;中文大规模数据集 DuReader 等。
随着大规模数据集发布和人工神经网络技术的快速发展,机器阅读理解渐渐成为自然语言处理研究领域的热门任务之一。阅读理解任务的发展不仅可以评估计算机对自然语言的理解情况,还可以推动自动问答任务的发展,帮助自动问答系统更好的理解文本信息。随着自动化的日益普及,阅读理解任务还可以为高考自动批阅系统提供服务,提升自动批阅系统的准确率。不仅如此,阅读理解任务的进步还可以帮助各类搜索引擎更精确地理解提问意图从而反馈给用户更准确的答案。
但是,由于自然语言灵活性高复杂性大,而问题字数少语义信息丰富,深度学习模型只是将问题输入到模型通过注意力机制隐式建模,模型对问题的理解并不充分,进而影响答案句的筛选。
问题理解增强的阅读理解技术研究
2 1.2 国内外研究现状 1 1.2.1 阅读理解研究现状
目前,阅读理解的研究主要从数据集和模型两方面开展。
(1)阅读理解数据集 基于深度学习的阅读理解模型需要通过大量的数据进行训练学习。一些企业、学校和评测机构纷纷从不同角度提出了自己的数据集。
表 1.1 各类数据集的规模大小 数据集 规模 语言 MCTest 2600 余个问题和 660 篇故事 英文 CNN&Dailymail CNN 数据集约有 90k 篇文章和 380k 个问题 英文 Dailymail 数据集约有 197k 篇文章和 879k 个问题 SQuAD 500 多篇文章和超过 100000 个问题答案对 英文 MS MARCO 10 万个问题和 20 万篇不重复的文档 英文 RACE 大约 28000 个文章和 100000 个问题 英文 CMRC 2017 18256 个问题和对应篇章 中文 SQuAD2.0 500 多篇文章和超过 150000 个问题答案对 英文 DuReader 约 100 万篇文章和 20 万个问题 中文 COQA 8000 个对话的 127000 问题答案对 英文 HotpotQA 113K 个问答对 英文 CJRC 约 10,000 篇文档和 50,000 个问答对 中文 DuReader2.0 约 100 万篇文章和 20 万个问题 中文 2013 年,微软建立了一个小规模基于儿童故事的多项选择阅读理解数据集 MCTest [3] ,其中数据集中的问题采用众包形式;Hermann 等人于 2015 年发布了一个填空型的大规模英文阅读理解数据集 CNN&Dailymail,其中 CNN 数据集和Dailymail 数据集分别来自美国有线电视新闻网的文章和每日新闻的文章 [4] ;2016 年,斯坦福大学建立了 SQuAD 数据集,阅读材料来自英文维基百科,问题和答案由人工标注 [5]
;同年微软发布了一个问题来自真实查询的英文数据集 MS MARCO [6] ,问题答案是由人工参考真实网页材料撰写 ;2017 年,卡内基梅隆大学发布了一个基于中国初中和高中学生英语阅读理解题目的数据集 RACE [7] ,问题答案并没有直接使用文章中的句子,更考验模型的推理能力;同年,科大讯
第一章 绪论
3 飞举办了第一个汉语阅读理解评测比赛并发布了中文阅读理解数据集 CMRC 2017,主要面向“儿童读物”领域的填空型阅读理解数据集;2018 年,斯坦福又提出 SQuAD2.0 数据集,该数据集在 SQuAD1.0 数据集的基础上添加了一些不可回答的问题 [8] ;2018 年,百度发布了中文阅读理解数据集 DuReader ,其问题和篇章均来源于百度搜索和百度知道用户真实搜索的问题 [9] ,是目前最大的中文阅读理解数据集。不仅如此,斯坦福大学还推出了衡量机器参与问答式对话能力的对话问答数据集 COQA [10] 和面向自然语言和多步推理问题的新型问答数据集 HotpotQA [11] 。2019 年,哈工大讯飞联合实验室提出了一个基于篇章片段抽取的中文法律阅读理解数据集 CJRC ,主要涉及民事一审判决书和刑事一审判决书,数据来源于中国裁判文书网 [12] ;同年,百度发布的面向真实应用的中文阅读理解数据集 DuReader2.0,与之前的数据集不同之处是在测试集中加入了不可回答问题。数据集详细的规模信息如上表所示。
(2)主要方法 阅读理解方法主要有三种:基于规则的方法、基于传统机器学习的方法、基于神经网络的方法。
基于规则的方法。早期的阅读理解技术多采用基于规则的方法。1999 年,Hirschman 提出了一个基于规则的词袋模型,并结词干提取、语义类识别、指代消解等浅层的自然语言处理技术 [13] ,提高了检索包含答案句子的准确率;2000年,Riloff 等人提出了一个基于不同类型的问题手动生成基于词汇和语义对应的规则的阅读理解系统 QUARC [14] ;同年,Charniak 等人将上述两个方法进行融合,使模型抽取包含答案的句子准确率在 30%-40%左右。
基于规则的方法简单明了,但是制定规则的过程不仅依赖人工而且较为繁琐,只适用于符合规则的部分数据,迁移性差,准确率低。
基于传统机器学习的方法。.2013 年,Richardson 等人在没有利用任何训练数据的情况下提出了一个基于规则的基线 [3] ,它采用启发式滑动窗口方法测量问题、答案和滑动窗口中单词之间的加权单词重叠/距离信息 [15] ;2015 年,Wang 等人在启发式滑动窗口方法的基础上提出了一个在 max-margin 学习框架之上通过将每个问答对转换为一个语句来运行现成的文本蕴涵系统,在 MCtest 数据集上模型性能从 63%提高到 70%左右 [16] 。
基于传统机器学习方法通常基于离散的串匹配的和基于窗口匹配的,在解决表达的多样性问题上显得较为困难 [17] ,很难处理多个句子之间的长距离依赖问
问题理解增强的阅读理解技术研究
4 题,并且不适用于当前大规模的数据集。
基于神经网络的方法。基于神经网络的方法主要从以下两部分开展研究:
1)模型架构。阅读理解模型一般包含:嵌入式层、编码层、注意力层和预测层。在嵌入式层,大多数模型只是从字或词单一角度对问题和篇章进行嵌入式表示。而 Minjoon 等人提出一种将字、词嵌入相结合的多层次阅读理解模型Bi-DAF,主要思想为将利用字符级 CNN 得到的嵌入式表示和利用 GloVe 得到的词嵌入式表示进行拼接得到最终问题和篇章的嵌入式表示 [18] ;在编码层,大部分模型使用长短期记忆网络对问题和原文的嵌入式编码,而 Google 提出的BERT 模型使用多层双向 Transformer 编码器通过在所有层的上下文联合调节来预训练深层双向表示 [19] ,BERT 的提出推进了 11 项 NLP 任务的最新技术的发展;在答案预测层,大多数模型通过训练损失函数和softmax 归一计算篇章句子概率,而 Wang 等人提出了一个融合 Pointer Net 机制的阅读理解模型 Match-LSTM [20] ,在答案预测时采用 Pointer-Net 计算答案句在篇章中起始位置的概率,该模型是第一个在 SQuAD 数据集上测试的端到端神经网络模型且优于公布的基线模型;从模型整体框架来说,2019 年,Ran 等人提出了一个利用数字感知的图神经阅读理解的模型 NumNet 来实现了数字比较和数学推理 [21] ,其模型效果高于当前考虑了数字间关系的所有的阅读理解模型。
2)注意力机制 2015 年,Hermann 等人提出了一个基于注意力机制的神经网络模型的 LSTM 模型 Attentive Reader [22] ,该模型在注意力机制层采用求点积的方法计算问题和篇章中词的相似度,在 CNN 数据集中上该模型的准确率达到了 63.8%;2017 年,哈工大与科大讯飞联合提出一种新的神经网络模型 attention-over-attention 注意模型 [23] ,主要思想是叠加注意力机制,即在原有的 attention 上添加一层 attention,不仅获得问题词对篇章词的 attention,还获得篇章词对问题词的 attention,在数据集 CNN 和 CBT 上取得了当时单模型最佳效果;2017 年,微软亚洲研究院借鉴 Match-LSTM 方法提出了一个神经网络模型 R-NET,主要改进是基于 GRU 的注意力的循环神经网络建模问题和篇章获取问题的相关段落表示 [24] ,基于自匹配注意力机制的循环神经网络将篇章和自己匹配得到整个篇章段落的高效编码[24] ,该模型利用 MS MARCO 数据集进行测试并取得了最好的结果;2018 年,Adams 等人提出了一种新的问答结构 QANet,它不需要递归网络,其编码器完全由卷积和自我注意组成 [25] ,其中卷积建模局部交互,自我注意建模全局交互,
第一章 绪论
5 在 SQuAD 数据集的测试集上 F 1 值达到了 84.6; 由上可以看出,研究者们主要针对注意力机制层、模型框架架构提出了各具特色的模型,但是我们发现目前大多数模型只是通过注意机制对篇章和问题隐式建模,并没有对问题本身进行建模,Mudrakarta 等人在问题中添加与问题无关词、助词模型效果反而有所提升 [26] ,表明深度学习模型并没有真正理解问题含义。
2 1.2.2 问题理解研究现状
问题理解又可以称之为问题解析,是问答系统和阅读理解任务的第一步工作,其解析的好坏直接影响整个问答系统或者阅读理解模型的性能。早在人工智能发展的第一个高潮 20 世纪 60 年代,人们就从问题的语义解析、问题分类、问题关键词的权重计算这几个方面理解问题。
(1)语义解析:Hermjakob 等人认为在问答任务中语义解析树必须具有一定的丰富性,他们附加一个问题树库来增强语义,同时丰富 Penn 树库去训练语料,实验证明问题语义信息越充足越可以提高问题和篇章的匹配程度 [27] ;Zhang等人采用一个树结构的 LSTM 神经网络模型对问题建模,引入语法语义信息帮助模型对问题的编码,从而加强模型对问题的理解 [28] ;王智昊、刘培玉通过多层感知卷积来增强模型对问题语义特征的选择,实验证明,基于量子语义空间的卷积神经网络特征选择方法能够表示出更丰富的语义特征从而加强对问题语义理解 [29] 。
(2)问题分类:早期的问题分类技术研究主要是基于人工制定的规则来实现,此方法在一些特定的数据集上获得了不错的效果。但是由于人工编写分类规则既浪费时间又浪费劳动力,满足分类规则的数据集存在局限性,此类方法的灵活性和迁移性较差。Hovy 等人有提出了一个有助于构建 weblopediaqa 的分类方法,主要思想是在问题中标注 72 个叶节点,不同的叶节点可以捕捉问题中不同的变量,从而更好的区分问题。这种问题分类方法试图表示用户的意图,而不是集中在疑问词或答案的语义上。Hermjakob 等人定义的包含 180 个问题类别的分类体系 [30] ,最典型的是 UIUC 的层次分类体系,包括 ABBR(缩写)、DESC(描述)、ENTY(实体)、HUM(人物)、LOC(地点)、NUM(数值)
6 大类,共 50 小类 [27] 。该分类体系具有较广阔的类型覆盖面,比较适合开放域事实型问题。目前,中文问题分类体系还没有统一 [31] ,比较著名的是哈尔滨工业大学信息检索和社会计算中心在国外分类体系的基础上,结合汉语的语言特色所提出的问题分类体系,具体分类见表 1.2;Zhang 等人基于 SVM 算法利用 tree kernel 提
问题理解增强的阅读理解技术研究
6 取特征对问题进行分类 [32] ;文勖等人提出了一种贝叶斯分类器新的分类方法,该方法主要使用句法分析的结果提取问题的主干和疑问词及其附属成分作为分类的特征 [33] ,此方法极大地减少了问题中的干扰信息突出了问题的重要特征。
表 1.2 哈尔滨工业大学的问题分类体系 大类(Coarse)
小类(Fine)
大类(Coarse)
小类(Fine)
描述(DES)
abb,definition, expressio,judge,etc 实体(OBJ)
animal,body,clothing, color,culture,currency, disease,event,etc 人物(HUM)
desc,list,organizat-ion,other,person 数字(NUM)
area,code,count,distance-frequency,list,money, multiple,other,etc 地点(LOC)
addres,city, continent,country ,island,lake,etc 时间(TIME)
age,day,holiday,list, month,other,etc (3)问题关键词的权重计算:Khashabi 等人提出了问题关键词概念[34] ,即当问题关键词被从问题中剔除时,人类回答问题的能力显著下降,并使用 SVM 分类器结合语义特征识别问题关键词,在模型中加入问题关键词对应权重,模型性能提高 5%。
1.3 本文研究内容 本文主要针对用户真实问题的理解进行探索,研究工作主要从问题理解任务分析、基于外部知识多视角理解问题、针对隐式问题的理解两个部分开展,设计并构建了一个阅读理解原型系统。
(1)问题理解任务分析
首先,我们对该类任务进行了定义;其次,对任务研究的重难点进行了说明,说明该类任务有一定的挑战性;最后,简略介绍了本文所采用的实验数据集和评价指标。
(2)基于多维度问题理解的阅读理解方法 问题理解是阅读理解的首要步骤,但是现有模型并没有直接针对问题建模,所以本文提出了一个多维度问题理解的解答策略。首先,利用 TextCNN 模型结合问题关键词对问题进行分类;然后,问题重要词通过句法分析获取,我们将问
第一章 绪论
7 题重要词定义为包含问题主要语义信息的词语,主要是由名词、动词组成,包含少量的形容词和限定性副词。其次,针对问题重要词加入对应的外部知识——字典释义和 Hownet 义元。最后,将问题类型作为问题的一个特征和问题一起输入到模型中,问题重要词外部知识的表示融入到模型的交互层,加强模型对问题的理解,从而提升模型解答效果。
(3)基于隐式问题理解的阅读理解方法 通过分析发现,数据集中包含大量的隐式问题,且大多数隐式问题的回答评分较低,因此本文针对隐式问题的理解进行了探索。首先,提出了隐式问题的定义,并将其分为一般隐式问题和复杂隐式问题两类;其次,针对一般隐式问题采用基于规则的方法识别所缺疑问词,接着将其转换为显式问题;针对复杂隐式问题采用 TextRNN 模型识别所缺疑问词并补全问题输出。
(4)实现了一个片段抽取式的阅读理解原型系统
本文基于上述所提方法构建了阅读理解系统,主要包括预处理、隐式问题处理、问题理解、篇章理解,答案选择五个模块,其中问题理解模块包括问题类型识别、问题重要词识别、添加外部知识三部分。实现的主要功能是:输入题目及篇章,经过隐式问题判断、问题分类、识别问题重要词、添加外部知识等问题理解处理步骤,然后对篇章和问题建模,最后输出问题答案。
1.4 论文的组织结构 第一章,绪论。本章主要介绍课题的研究背景及意义,总结国内外问题理解、阅读理解研究现状,并对本文的研究内容做了粗略介绍; 第二章,任务分析。本章对问题理解任务定义、研究难点进行了简要的分析,简要介绍了实验所用的数据集和相关的评价指标; 第三章,基于多维度问题理解的阅读理解方法。本章主要从加入问题类型、识别问题关键词、添加外部知识等多个视角加强模型对问题的理解,并详细介绍了不同问题特征融入模型对应的方法。
第四章,基于隐式问题理解的阅读理解方法。本章主要提出了隐式问题的定义,并针对隐式问题的问题理解和解答上做了进一步的探索。
第五章,片段抽取式阅读理解原型系统构建。本章基于上述所提方法构建了问题解答系统,主要包括五个模块分别为:预处理、隐式问题处理、问题理解、篇章理解,答案选择。
第六章,结论与展望。本章主要对全文所提方法及实验结果做出总结,并指
问题理解增强的阅读理解技术研究
8 出所提方法的不足,提出了下一步的展望。
第二章 任务分析
9 第二章
任务分析 本章主要从任务定义、任务研究的重难点、实验数据集和评价指标三个方面进行论述。
2.1 任务定义
阅读理解是指给定问题和篇章,要求模型获得问题和篇章中包含的信息,并给出相应的答案。我们将其形式化定义为:输入一个问题 Q = {q 1 ,q 2 ,„„q n }和对应篇章 D = {w 1 ,w 2 ,„„,w m },要求模型理解问题所含信息,通过对问题和篇章的建模从篇章中抽取作为答案的句子输出 A={a 1 ,a 2 ,„„,a o },其中 a i为篇章 D 中的子句。
问题理解就是指模型剖析问题从中得到包含的信息,即明白问题在对什么在提问,提问的内容是什么。如表 2.1 所示,对于问题“牛排怎么做好吃”,模型在理解问题过程中需要获得是对牛排在提问,提问的是牛排的做法而不是牛排的价格、牛排的颜色等内容。我们问题理解从子任务入手对其进行形式化定义,理解问题主要是识别问题所含的语义信息主要包括问题类型、问题重要词,如表2.1 中示例。具体定义如下:
(1)问题类型角度:输入一个问题 Q = {q 1 ,q 2 ,„„q n },以及问题类型集C ={c 1 ,c 2 ,„„,c m },模型计算每个类型对应的概率 P = {p c1 ,p c2 ,„„,p cl },选取概率最大 p cj 对应的类型 c i 作为输出。
(2)问题重要词角度:输入一个问题 Q = {q 1 ,q 2 ,„„q n },通过规则或者机器学习的方法,从问题 Q 中选取 q i (1<i>n)作为问题重要词输出。
表 2.1 问题理解示例
问题 牛排怎么做好吃? 提问对象 牛排 提问内容 做法 问题类型 方法 问题重要词 牛排、做 问题回答 1、冷冻牛排自然解冻,用厨房纸巾吸干血水。
2、撒上少许海盐和黑胡椒碎腌制片刻。
3、牛排机接...
问题理解增强的阅读理解技术研究
10 2.2 任务分析
2018 年,Mudrakarta 等人在问题中添加与问题无关词、助词模型效果反而有所提升[ 26 ] ,去掉问题中的一些关键词模型效果却没有什么变化,表明深度学习模型并没有真正理解问题含义。模型对问题的理解是阅读理解的第一个执行阶段,因此此阶段对问题的模糊理解甚至错误理解会直接影响后面的各个阶段,对后面的工作产生不充分以及错误的指导,最后使模型筛选答案不正确。
模型理解问题不准确、不充分的主要原因有: (1)自然语言的复杂性。自然语言文本灵活性高,具有高度的复杂性,且自然语言的结构类型多种多样。对于提问意图相同的一个问题,问句的疑问词或问句的主谓宾结构可以不同,比如问题“为什么脸上会长痘痘?”、“脸上长痘痘的原因是什么?”和“脸上长痘痘是怎么回事?”。对于提问意图不同的问题,所用疑问词可以相同,而且句式多式多样,例如问题 “兰陵王的大结局是什么?”、“网络卡是什么原因?”和“挚友的意思是什么?”。
(2)问题类型的多样性。提问者询问的内容往往涉及很多领域,如教育、娱乐、电子、影视、体育、食品等,提问意图也多种多样,如原因、方法、意义、目的等。对同一数据集学者往往使用一个模型,问句类型的多样使数据特征变得相对分散,会使模型不容易提取到相应特征,以至于不能准确获得问题的语义信息。
(3)问句简短且包含许多抽象性的词。问句不会像文章那样大篇幅的描述提问内容,具有高度概括性。在 DuReader2.0 数据集中问题最长字数为 21,最短字数为 3,平均字数为 8.2。为了让较短的词描述提问对象和提问内容通常包含大量抽象性词,比如“结局”、“意义”、“原因”等,而这类抽象性词并不会直接在篇章中出现,但与篇章中的句子存在对应关系,极大的加强了模型对问题理解的难度。比如,问题“兰陵王的结局什么?”,篇章中并未出现结局一词,但篇章中包含“最后”一词的子句与之对应。系统对自然语言的理解,目前主要理解语义信息,抽象性词的存在使模型不能准确把握问题信息,进一步导致答案句筛选不准确,降低模型的性能。
由此可以看出,问题理解是一个具有挑战的任务。
2.3 相关数据
本文实验数据来自百度和中文信息学会举办的“2019 年中文阅读理解挑战
第二章 任务分析
11 赛”中 DuReader2.0 数据集。数据集主要包含描述类(DESCRIPTION)、实体类(ENTITY)、是非(YES_NO)类三大类问题,分别占总数据的 63%、28%和9%。具体示例如表 2.2 所示。
表 2.2 DuReader2.0 数据集各个类型样本示例 示例 1 【问题】如何查看路由器宽带密码? 【类型】DESCRIPTION 【原文】在路由器设置界面查看宽带密码方法:1、进入路由器。打开浏览器-输入 192.168.1.1(一般路由器地址是这个或者查看路由器背面的登录信息)进路由-输入用户名,密码 ,(默认一般是 admin)。2、在网络参数--WAN 设置里„„ 【答案】1、进入路由器。打开浏览器-输入 192.168.1.1(一般路由器地址是这个或者查看路由器背面的登录信息)进路由-输入用户名,密码„„ 示例 2 【问题】一般割双眼皮多少钱? 【类型】ENTITY 【原文】做双眼皮的价格与选择的技术、地区以及医院等因素有关。一般埋线双眼皮价格为 1200-3000 元,切开式双眼皮价格为 2000-5000 元。另外提醒您许多不具备条件或技术不成熟的机构或医生„„ 【答案】一般埋线双眼皮价格为 1200-3000 元,切开式双眼皮价格为2000-5000 元。
示例 3 【问题】微博可以看最近访客嘛? 【类型】YES_NO 【原文】手机版个人主页最下面有个“常来与我互动”,拉到最下面,十个人组成一个小圈,多观察就会发现其实是按名次排的,这十个人也就是关注你的 top10,应该是把回复次数和来„„ 【答案】手机版个人主页最下面有个“常来与我互动”,拉到最下面,十个人组成一个小圈,多观察就会发现其实是按名次排的„„ DuReader2.0 是针对真实问答场景所提出的数据集,是迄今为止规模最大的中文阅读理解数据集之一,包含了超过 30 万个问题、140 万篇问题对应的文档
问题理解增强的阅读理解技术研究
12 和 66 万个人工生成的答案。DuReader2.0 中问题和证据文档都来源于百度搜索引擎和百度知道问答社区用户的真实查询[ 9 ] ,数据集中问题对应的答案由人工根据参考文档手工撰写的。与许多数据集不同之处是 DuReader2.0 数据集中包含是非类和观点类的问题,此类问题在之前少有研究。此类问题的加入进一步增强了研究的难度,选用此数据集检验论文中所提方法的有效性不仅可以可以满足现实世界的需要,对所提方法更具有检验性。
2.4 评价指标
1 2.4.1 问题类型、问题重要词识别评价指标
问题类型、问题重要识别主要通过 precision(精确率)、recall(召回率)、F1-score 这三个值进行评价。
假设当前样例仅包含 a、b 两种类型。
精确率是指模型预测为 a 的样本中有多少是正确的 a 样本。样例被预测为 a类结果有两种可能:一种就是把 a 类样例正确预测为 a 类(用 TP 表示),另一种是把 b 类样例错误预测为 a 正类(用 FP 表示)。精确率是针对预测的结果来计算的,其公式可以表示为:
Precision = TP / ( TP + FP )
(2.1)
召回率表示被正确预测为 a 类的样例占所有 a 类样例的比值。预测为 a 类的样例也有两种可能:一种是对原有的 a 类预测正确(用 TP 表示),另一种是把原有的 a 类样例预测为 b 类(用 FN 表示)。召回率是针对原始数据进行计算的,具体计算公式如下:
Recall = TP / ( TP + FN )
(2.2)
F1-score 表示 precision、recall 的调和均值。具体计算公式如下:
F1-score = 2 * Precision * Recall / ( Precision + Recall )
(2.3)
2.4.2 阅读理解问题解答评价指标
目前,针对阅读理解模型采用的自动评价指标大多为机器翻译中常用的 Bleu和自动文摘中常用的 Rouge-L 指标。
(1)Bleu 评价指标:Bleu 方法由 IBM 提出,是一种基于对 n-gram 优化的自动评价方法,主要思想是同时出现在系统答案和参考答案中的 n 元词的个数除以系统答案的单词总个数 m 的值(以下公式中用 P n 表示)作为评价结果[35] 。由于数据集样例较多,我们取数据集每一个样的精度分数的几何平均值并添加合适的长度惩罚因子。具体计算见公式(2.4):
第二章 任务分析
13
(2.4)
其中,w n 为权重值,BP 是长度惩罚因子计算公式见(2.5),P n 计算公式为(2.6)
(2.5)
(2.6)
其中,c 为候选答案的长度,r 为有效参考答案的长度。
(2)Rouge-L 评价指标:Rouge 是在 2004 年由 ISI 的 Chin-Yew Lin 提出的一种自动摘要评价方法[36] ,衡量方向是是参考答案相对系统答案的准确度和召回情况,主要偏向于召回情况。Rouge-L 针对候选答案和系统答案间最长的公共子列,具体计算见公式(2.7):
(2.7)
其中,lcs 表示最长公共子序列,R lcs 表示最长公共子序列对参考答案上的召回率,P lcs 表示最长公共子序列对系统答案上的准确率,其计算表达式分别为(2.8)和(2.9):
(2.8)
(2.9)
其中,LCS(X,Y)表示序列 X 和序列 Y 的最长公共子序列的长度,m 表示参考答案长度,n 表示系统答案长度。
2.5 本章小结 本章从任务定义入手,简要分析了问题理解技术研究的重点、难点内容,主要包括问题分类和问题抽象词理解这两个方面。由此可以看出,问题理解技术的研究是提高机器阅读理解的性能的重要部分之一,具有一定的挑战性。其次,还简要介绍了相关数据集和评价指标。 N1 nn np log w exp BP BLEU ) ngram candidate_
( countngram _ matched countP n lcs2lcslcs2P α RP R α 1L - RougelcsmY) , LCS(XR lcs nY) , LCS(XP lcs ; r
c if
1r; c if er/c) - (1BP
问题理解增强的阅读理解技术研究
14
第三章 基于多维度问题理解的阅读理解方法
15 第三章 基于多维度问题理解的阅读理解方法 机器是否正确理解问题所表达的含义是能否正确回答问题的基础,模型只有准确完整的理解问题,才能进一步根据篇章信息获得正确的答案。本章主要从研究动机,多维度理解问题策略,融入多维度理解问题的阅读理解模型三个方面进行介绍。
3.1 研究动机
提问者为了全面地描述提问意图,所提问题会包含一些形容词、语气助词、结构助词等,例如问句“好吃的牛排怎么做?”中“好吃”就一个描述牛排的一个形容词。“的”为结构助词。这类词共同的特点是不包含什么实际意义。
模型理解问题主要是指获得问题所包含的信息,最直观的就是理解问题的语义信息。然而这些没有实际意义的词存在会干扰模型对问题的理解,降低模型对问题中重要信息的获取,所以我们需要识别问题中重要词,减少没有实际意义的词对模型理解的问题产生的干扰。
问题类型可以作为问题的一个特征帮助模型理解问题。问题类型识别的准确率可以反映模型对问题的理解的程度,不仅如此问题类型还可以指导模型对答案的选取,缩小模型在篇章中筛选片段做为候选答案的范围,为答案的选取提供了一定意义上的约束。所以,我们需要识别问题类型。
人在理解自然语言文本的过程中常常会涉及个人所积累的知识、理论、经验,对于复杂的文本时常会结合推理、融合、筛选等能力。然而机器并不具备和人一样的知识储备和推理融合的能力。因此,机器理解自然语言的程度仍未能像人理解自然语言一样智能,如果我们在模型中加入外部知识就可以帮助模型理解问题含义。
3.2 多维度问题理解
我们通过对问题进行分类、识别问题重要词、添加外部知识这三个维度来提升模型对问题的理解能力。
1 3.2.1 问题类型识别
(1)问题类型确定 阅读英文文献我们发现,研究学者常根据英文中的疑问词对问题进行分类,主要分为:“what”、“how”、“why”、“when”、“where”、“who”、“other”。结合本
问题理解增强的阅读理解技术研究
16 文所使用的数据集,我们将问题分为“what”、“how”、“why”、“where”、“who”、“comp”六类,其中“comp”表示对比类问题,初步分类示例如表 3.1 所示:
表 3.1 问题初步分类示例
问题类型 示例 what 市场推广策略有哪些? 游侠电影结局什么意思? 什么是电子邮件? how 意大利面做法是什么? 气虚肥胖如何补气减肥? 下载的字体怎么安装? why 网络卡是什么原因? 为什么脚后跟会疼? where IE 在哪里升级? 带父母去哪里旅游好? who 世界上头发最长的人是谁? comp 拉布拉多和金毛有什么区别? 二甲医院和三甲医院哪个好? 由表 3.1 可见,中文问题和英文问题存在很大区别:英文问题句式较单一且疑问词固定,而中文问题的提问方式种类繁多且复杂:1)疑问词不相同但可以表示意思相同的问题;2)意思相同的问题,问句中主谓宾可以不同;3)表达同一类问题,问法多式多样;4)疑问词相同但表示不同类的问题,,甚至有的问题并不包含疑问词,在“what”类和“how”类问题中此现象尤为明显。因此,英文问题的分类方式并不适合中文问题,不能仅依据疑问词对其分类。
中文问题目前还没有统一的分类标准,有些学者将问题分为方式、比较、原因、解释、评价、简述、其他七类[37] 。通过数据分析发现该分类体系较粗糙,导致一些类别问题过多,占比不平衡。如,方式类、简述类问题分别占 49.45%与26.12%。为了缓解该问题,本文将方式类问题更细粒度分为方法、步骤、攻略三类,简述类问题分为简述类和影响类。将问题细化后,方法类、简述类问题分别下降了 20%、10%,剩余类型均在 7%左右,缓解数据不平衡现象。
最终,本文将问题分为方法、步骤、攻略、原因、解释、对比、评价、影响、简述、其他。如表 3.2 所示。
第三章 基于多维度问题理解的阅读理解方法
17 表 3.2
最终问题分类及示例 问题类型 示例 问题类型 示例 方法类 交管 12123 怎么交罚款? 原因类 威海为什么发展不起来? 步骤类 flash 动画制作步骤是什么? 解释类 纠缠的意思是什么? 毕业论文答辩流程有什么? 超声波洗牙的原理是? 攻略类 上海有什么旅游攻略? 简述类 男生喜欢一个人有什么表现? 立体几何有什么解题技巧? 曲筱绡的结局是什么? 对比类 截至和截止有什么区别? 评价类 太平样车险怎么样? 影响类 泻药有什么副作用? 其他类 北欧家具的特点有? (2)问题类型识别 近年来,在机器视觉领域有显著效果的 CNN 模型在文本分类中也被验证是可使用的且效果不错,所以我们采用 TextCNN 模型对问题进行分类。首先,将问句以字的形式输入模型中,得到问句的嵌入式表示;然后将问句的嵌入式表示依次通过卷积层、池化层和全连接层;最后通过 softmax 函数确定该问句对应每个类别的概率,输出概率最大的类型最为该问句类型最终的结果。具体模型结构图见 3.1。
图 3.1 TextCNN 模型结构图
问题理解增强的阅读理解技术研究
18 3.2.2 问题重要词识别
(1)问题重要词定义 问题理解的另一个关键是获取问题主要的语义信息。我们将问题重要词定义为包含问题主要语义信息的词语,主要是由名词、动词组成,包含少量的形容词和限定性副词。有些文献中,许多学者把问句中除疑问词、语气词、停用词以外的绝大部分词作为问题的重要词。
我们根据其定义识别本文所使用数据集的问题重要词发现,字数稍多的问句中会包括形容词、助词、副词等一些没有实际语义信息的词语。通过对大量数据的观察,发现问题的主题词和焦点词通常包含问题的重要内容,也是模型理解问题的核心信息,所以我们进一步将问题句中的主题词与焦点词定义为问题重要词。其中,主题词是指能概括性地表现问题中话题的词语,一般是指反映某些特定主题的概念性、较规范性的词或词组;问题焦点是指围绕话题的问点,是一种提问者想要强调的重点的问题语义信息。例如,“曲筱绡的结局是什么?”中,“曲筱绡”和“结局”分别为问题的主题词和焦点词;“血压不稳定是由什么原因造成的?”中,问题主题词为血压不稳定,焦点词是原因。
模型是否正确识别问题的重要词不仅是判断模型是否正确理解问题的一个指标。而且识别这两种信息,可加强模型对问题中关键信息的注意力,从而降低非重要词对模型的干扰,进一步可以提高模型对问题语义信息的解析,使模型更准确找到正确答案。
(2)问题重要词识别 本论文通过句法分析获取问题的重要词。分析大量问句的句法依存树我们发现,问句的重要词和问句中的疑问词都存在某种直接或间接的关系,而且问句中的虚词一定不是问题重要词。所以,本文预先构建疑问词表 Interrogative_word = {什么,怎么,多少,多大,如何,为何,啥,哪,谁,几,吗} 、虚词词表 Function_word 包含助词、介词、连词、代词等和动词表 verb_word = {看、交、做、办、有}。然后通过句法分析获取问题 Q={q 1 ,q 2 ,…,q n }的重要词。主要基于以下的规则:
规则 1:如果问句中的一个词 q i ∈Interrogative_word ,则于 q i 存在依存关系的词 q j 为问题重要词,若 q j 在虚词词表中,则于该词则存在依存关系的词 q o 和与 q o 存在依存关系的词作为问题重要词,其中前者为焦点词后者为主题词,如图 3.2 所示。
规则 2:如果问句中的一个词 q i ∈Interrogative_word ,q j ∈Function_word
第三章 基于多维度问题理解的阅读理解方法
19 或者 q j ∈verb_word,且 q i 、q j 不存在依存关系,则与 q i 、q j 存在依存关系的词为问题重要词,其中与 q i 存在依存关系的为问题焦点词。如图 3.3 所示。
(a)
(b)
图 3.2 问题重要词识别规则 1 示例
图 3.3 问题重要词识别规则 2 示例
规则 3:问题中 q i 和 q j 存在并列关系,则 q i 、q j 均为问题重要词,与 q i 存在依存关系的词是问题焦点词也是问题重要词,主要是对比类问题,如图 3.4 所示。
图 3.4 问题重要词识别规则 3 示例 本文使用哈工大社会计算与信息检索研究中心研发的语言技术平台(LTP) 中的依存句法分析实现。
3.2.3 加入外部知识
(1)动机 问题字数一般较少,但却要描述出提问者想要知道的内容。通过分析发现,问题中常包含许多抽象性词,如表 3.3 所示,问句“兰陵王的结局是什么?”中,“结局”一词为抽象性词;问句“睡觉咬舌头的两侧有什么原因?”中“原因”也为抽象词。
由表中的问题示例可以看出,问句字数较少且包含抽象性、概念性的词,对应答案由多个句子组成,字数较多。模型评分低说明模型并没有正确理解问题,理解此类问题的难点主要是:问句中抽象性词表达充足的语义信息,但这些抽象性词并不会在篇章中直接出现,而是与篇章中某些句子相对应,这些句子往往就是问题对应的答案,此类句子一般是对抽象性词具体地描述或者解释。如表 3.3,
问题理解增强的阅读理解技术研究
20 问句“兰陵王的结局什么”中“结局”为抽象词,但“结局”并没有直接出现在原文中,原文中包含“最后”的句子与之对应;问句“睡觉咬舌头的两侧有什么原因”中“原因”为抽象词,并没有直接出现在原文中,但原文中包含“由于”、“造成”、“导致”的句子与之相对应。
表 3.3 包含抽象词的问题实例 【问题 1】兰陵王的结局什么? 【原文】兰陵王最后被郑儿设计假死锁在皇宫地下室里,让高纬以及所有的人都以为他死了。杨雪舞遭到追杀被宇文邕救回周国,郑儿一厢情愿妄图和兰陵王私奔,兰陵王用计逃了出来,在周齐边境假扮蒙面义士劫富济贫。雪舞生下孩子,几番波折后与兰陵王相认„„。
【系统答案】兰陵王最后被郑儿设计假死锁在皇宫地下室里,让高纬以及所有的人...
- 范文大全
- 职场知识
- 精美散文
- 名著
- 讲坛
- 诗歌
- 礼仪知识
-
2024年全国两会精神大学生心得感想
2024年全国两会精神大学生心得感想 在这个充满希望的春天,2024年全国两会如期而至,即使远在异国他乡,当我看到代表委员们用心用情履
【心得体会】 日期:2024-03-12
-
中国传统故事英文版 中国古代故事英文版
历史学科蕴含着许多丰富的、生动的、有趣的素材,每一个历史事件、历史人物都有相关的、动人的历史小故事,都能给人以启迪。你对中国古代的故事了解多少呢?下面是小编为您...
【调查报告】 日期:2019-05-22
-
2024年度纪律教育月活动方案6篇
2024年度纪律教育月活动方案6篇各级各部门要充分认识加强纪律教育、推进纪律建设的重要意义,高度重视、周密筹划、精心组织。在真抓实
【企划方案】 日期:2024-01-18
-
十八大以来我国网络安全和信息化辉煌成就
十八大以来我国网络安全和信息化的辉煌成就 党的十八大以来,以习近平同志为核心的党中央坚持从发展中国特
【申报材料】 日期:2020-11-25
-
雷锋日是什么时候几月几日_学雷锋日是几月几日
雷锋日是用来纪念雷锋同志的,也有很多人用这一天来学习雷锋助人为乐。雷锋日是什么时候呢?下面小编为大家推荐一些雷锋日的时间及相关知识,希望大家有用哦。 雷锋...
【入团申请书】 日期:2019-05-08
-
2篇,学习对于构建现代化经济体系新发展格局心得体会
2篇学习关于构建现代化经济体系新发展格局的心得体会篇一: “建设现代化经济体系&rdqu
【慰问贺电】 日期:2020-12-08
-
2022年全国节约用水知识大赛题库(含答案)
22022年全国节约用水知识大赛题库(含答案) 单选题(总共153题) 1 习近平总书记站在可持续发
【工作计划】 日期:2021-07-23
-
2023 年全省“安全生产月”活动方案
2023 年全省安全生产月活动方案 组织开展安全生产大家谈班前会以案说法等学习交流体会活动。以下是蒲公英阅读网小编为大家收集的内容,希
【企划方案】 日期:2023-05-30
-
【国庆节中学黑板报】 中学生防溺水黑板报
革命先烈的英雄事迹,我们不会忘却,他们永远活在我们的心里。下面就随小编看看国庆节中学黑板报内容,希望喜欢哦。 国庆节中学黑板报图片欣赏 国庆节中学黑板报...
【调查报告】 日期:2019-05-05
-
男的脸上毛孔粗有黑头怎么办_男士有黑头毛孔粗大
很多男生随着年龄的增长会发现脸上的皮肤越来越不如从前,有的甚至毛孔粗大还出现了黑头。那么,男的脸上毛孔粗有黑头怎么办呢?下面跟着小编一起来了解一下吧。 男生...
【学习体会】 日期:2019-05-13
-
执行信息公开网
执行信息公开网 执行信息公开网 执行信息公开网: zhi*ing (点击下图可直接进行访问) 全国
【职场知识】 日期:2020-07-03
-
乙酸乙酯皂化反应速率常数测定实验报告
学号:201114120222 基础物理化学实验报告 实验名称: 乙酸乙酯皂化反应速率常数的测定 应
【职场知识】 日期:2020-09-29
-
“从青风公司审计案例看销售与收款循环审计”案例说明书
“从青风公司审计案例看销售与收款循环审计”案例说明书一、本案例要解决的关键问
【职场知识】 日期:2020-09-28
-
机械加工创业项目_加工小本创业项目
现在在加工创业项目办小本加工厂有哪些?有什么项目推荐,下面这些小本加工厂项目个个都适合一个人创业,来看看吧!以下是小编分享给大家的关于,一起来看看加工小本创业项目吧!...
【职场知识】 日期:2020-03-19
-
医院护士践行社会主义核心价值观演讲稿两篇
医院护士践行社会主义核心价值观演讲稿两篇本文关键词:践行,演讲稿,两篇,护士,核心价值观医院护士践行
【职场知识】 日期:2021-05-03
-
致橡树(中英文)
3 【原诗】 【JohannaYueh修改版】 致橡树TotheOakTree 作者:舒婷ByShu
【职场知识】 日期:2020-11-17
-
《高等学校课程思政建设指导纲要》及全文内容解读
最新《高等学校课程思政建设指导纲要》及全文内容解读 一、 《纲要》 出台的背景和重要意义 二、 全面
【职场知识】 日期:2020-08-21
-
民主评议党员制度实施细则
民主评议党员制度实施细则 第一章总则 第一条为贯彻落实全面从严治党要求,进一步推进民主评议党员工作科学化、规范化、制度化,根据
【职场知识】 日期:2022-06-16
-
动量守恒定律专题训练含答案
动量守恒定律专题训练含答案 一、不定项选择题 11、下列运动过程中,在任意相等时间内,物体动量变化不
【职场知识】 日期:2021-01-06
-
中性时尚帅气短发女发型设计图片 最潮帅气中性短发发型
时尚中性帅气短发女发型图片精选,想走中性风的MM不妨进来看看,为自己选一款好看的新发型。下面是小编为大家整理的中性帅气短发女发型图片,供大家参考! 中性帅气短发女发...
【职场知识】 日期:2020-03-15
-
唐代诗人李昂个人信息
唐代诗人李昂个人信息 导读:我根据大家的需要整理了一份关于《唐代诗人李昂个人信息》的内容,具体内容:
【古典文学】 日期:2020-11-07
-
[关于中秋的朗诵诗词] 关于爱国的朗诵诗词
中秋,热闹的街头树起了灯彩,舞起了火龙。你知道多少关于中秋的朗诵诗词?下面小编为你整理了几篇关于中秋的朗诵诗词,希望对你有帮助。 关于中秋的朗诵诗词一 中秋佳节...
【古典文学】 日期:2019-06-06
-
法律知识手抄报图片大全|法律知识手抄报
我国开展了全面的普法宣传工作,法制宣传教育、普及法律常识作为经常的重要任务。做法制教育手抄报,普及法律知识。下面是小编为大家带来的法律知识手抄报图片大全,希望大家...
【古典文学】 日期:2020-03-10
-
食品中脂肪测定(索氏提取法)实验报告
报告汇编Compilationofreports20XX 报告文档·借鉴学习word可
【古典文学】 日期:2020-10-18
-
高血压论文参考文献
高血压论文的参考文献 [1] 中国高血压防治指南2010 ? 《中华心血管病杂志》 被中信所《中国科
【古典文学】 日期:2020-06-04
-
创业思路 [20个创业思路]
在家创业好项目,想创业,不想出门,有没有什么好方法呢?要想兼顾全职的工作,又想挣点外快,我们来看看这些项目。以下是小编为大家整理的关于20个创业思路,给大家作为参考,...
【古典文学】 日期:2020-03-02
-
读《数学教育的"中国道路"》有感 数学教育的中国道路
读《数学教育的中国道路》有感 中山市博爱初级中学李丽敏 一开始拜读张奠宙教授的《数学教育的中国道路》一书,想着,这么大的问题,是我这个小小的一线
【古典文学】 日期:2019-05-05
-
历史爱国人物故事_爱国人物故事简短
每一个历史事件、历史人物都是一个动人的小故事,都能给人以启迪。无论是现在还是以往都有爱国人物的故事,下面是小编为您整理的历史爱国人物故事,希望对你有所帮助! 历史...
【古典文学】 日期:2019-05-06
-
2017烧显卡的游戏排行榜 2017年最烧显卡的游戏
作为一名游戏党,当然关注的是显卡,显卡是游戏的第一条件,那么烧显卡的游戏有哪些呢?下面是有2017烧显卡的游戏排行榜,欢迎参阅。 2017烧显卡的游戏排行榜 1、《孤岛...
【古典文学】 日期:2020-02-23
-
各类岗位薪级工资正常晋升对照表
各类岗位工资及薪级工资对照表:专业技术职务岗位工资及薪级工资对照表 岗位工资薪级工资岗位工资标准薪级
【古典文学】 日期:2020-09-23
-
雪天安全行车注意事项_雪天安全行车提示语
维护城市交通秩序,争做河源文明市民。你们想看看雪天安全行车提示语有哪些吗?以下是小编推荐雪天安全行车提示语给大家,欢迎大家阅读! 安全行车温馨提示语【经典篇】 1...
【中国文学】 日期:2020-03-15
-
【世界上最大的半岛】阿拉伯半岛
你知道世界上最大的半岛是什么吗?下面由小编来介绍一下。 阿拉伯半岛的简介 阿拉伯半岛(阿拉伯文:)位于亚洲,是世界上最大的半岛。沙特阿拉伯、也门、阿曼、阿拉伯联合...
【中国文学】 日期:2019-05-24
-
小数乘法计算方法
小数乘法得计算方法理解小数乘法计算得法则,能够比较熟练得进行小数乘法笔算与简单得口算重点掌握小数乘法
【中国文学】 日期:2020-12-22
-
世界上国家间最大的陆地争议地区是什么:世界上有几个国家地区
古往今来,国土分界线就是兵家常争之地,大家又知不知道世界上国家间最大的陆地争议地区呢?现在就由小编为大家介绍这块世界上国家间的最大陆地争议地区吧! 世界上国家间的...
【中国文学】 日期:2020-02-28
-
特种设备作业人员作业种类与项目目录
特种设备作业人员作业种类与项目目录 种类 作业项目 项目代号 备注 特种设备相关管理特种设备安全管理
【中国文学】 日期:2020-09-23
-
【欧式女装小店面装修图】 女装小店面装修
随着服装行业和照明产业的发展日趋成熟,服装店的照明设计越来越受到人们的广泛关注,即通过光环境设计对消费者产生引导性作用。下面小编就为大家解开欧式女装小店面装修图展...
【中国文学】 日期:2020-02-27
-
清明节踏青简笔画【清明节踏青图片】
清明节是二十四节气之一,是很适合出去踏青的节日,下面是小编为大家收集的清明节踏青图片相关资料,希望对大家有所帮助。 清明节踏青图片欣赏 清明节踏青图片1 清明...
【中国文学】 日期:2019-05-08
-
电磁场与电磁波实验报告
实验一 静电场仿真 1 实验目的建立静电场中电场及电位空间分布的直观概念。 2 实验仪器计算机一台3
【中国文学】 日期:2020-08-26
-
廉政风险点及防控措施
廉政风险点及防控措施 廉政风险点廉政风险点及防控措施 一、思想道德及制度机制 (一)思想道德(二级风
【中国文学】 日期:2020-07-02
-
史玉柱创业故事_创业故事白手起家故事
史玉柱,一个有着传奇和神话般经历的人,而且,这个传奇和神话正在续写。下面小编就为大家解开史玉柱创业故事,希望能帮到你。 史玉柱创业故事篇一 史玉柱的创业史可以分为...
【中国文学】 日期:2020-02-28
-
国家开放大学电大公文文体写作试题及答案
公文文体的写作(二)单元测试题 1 决定属于A.上行文B.下行文C.平行文D.既可上行也可下行 2
【外国名著】 日期:2020-07-02
-
山东省生产经营单位安全生产主体责任规定(303号令)
山东省生产经营单位安全生产主体责任规定(2013年2月2日山东省人民政府令第260号公布根据2016
【外国名著】 日期:2020-10-22
-
传感器测试实验报告
实验一 直流激励时霍尔传感器位移特性实验一、实验目得:了解霍尔式传感器原理与应用。 二、基本原理:金
【外国名著】 日期:2020-11-09
-
六年级下册《比例尺》单元测试题
一、填空题: 1、比例尺=( ):( ),比例尺实际上是一个( )。 2、一幅图的比例尺是。A、B两
【外国名著】 日期:2020-09-29
-
人教版高一语文必背 人教版高一语文《老王》赏析
杨绛的《老王》,可谓是平凡的人平常的事,平淡的语言平常的心,但读来总让人印象深刻,感触颇多,下面是小编给大家带来的人教版高一语文《老王》赏析,希望对你有帮助。 高一...
【外国名著】 日期:2020-03-10
-
“坚定理想信念、增强历史自觉、弘扬优良传统、加强党性锤炼、党员先锋模范作用发挥”方面存问题和不足剖析材料例文
“坚定理想信念、增强历史自觉、弘扬优良传统、加强党性锤炼、党员先锋模范作用发挥&rdqu
【外国名著】 日期:2021-08-14
-
【缅怀革命先烈黑板报图片】缅怀革命烈士黑板报
中国的抗日名将是数不胜数,其中张灵甫大家了解多少呢?下面就随小编看看缅怀革命先烈的黑板报内容,希望喜欢哦。 缅怀革命先烈黑板报图片欣赏 缅怀革命先烈黑板报图片1...
【外国名著】 日期:2019-05-09
-
3.8妇女节_3.8妇女节手工制作图片精选
3 8妇女节送卡片表示感恩与祝福是在好不过了,小编整理了3 8妇女节手工制作感恩卡图片,希望大家喜欢! 3 8妇女节手工制作感恩卡图片展示 3 8妇女节手工制作感恩卡图...
【外国名著】 日期:2020-03-14
-
《中小学教师违反职业道德行为处理办法》实施细则
《中小学教师违反职业道德行为处理办法》实施细则本文关键词:实施细则,职业道德,中小学教师,违反,办法
【外国名著】 日期:2021-03-24
-
金融术语中英文对照
ABS资产担保证券(AssetBackedSecurities的英文缩写) Acceleratedd
【外国名著】 日期:2020-07-03
-
梧桐花的花语|梧桐花的功效与作用
梧桐花为梧桐科植物梧桐的花,植物形态详梧桐子条。今天小编为你整理了梧桐花的花语,欢迎阅读。 梧桐花的花语是:情窦初开 在春季里晚开的花朵,有着恬淡的气息。 ...
【寓言童话】 日期:2020-03-03
-
惊悚鬼故事50字 令人惊悚的故事
这些惊悚故事在短短的篇幅和时间之内让您感受到故事里传达出来的恐怖感,令你感到害怕。下面就是小编给大家整理的令人惊悚的故事,希望对你有用! 令人惊悚的故事篇1:学校...
【寓言童话】 日期:2019-05-13
-
大学生音乐欣赏论文 大学音乐鉴赏论文3000
今天小编就为你介绍关于大学生音乐欣赏论文,下面是!小编给你搜集了相关资料!希望可以能帮助到大家。 大学生音乐欣赏论文—第一篇 音乐是生活不可缺少的一部分,学会欣...
【寓言童话】 日期:2020-03-12
-
西部计划笔试题库(99题含答案)
西部计划笔试题库(99题含答案) 1 第十三届全国人大三次会议表决通过了《中华人民共和国民法典》,自
【寓言童话】 日期:2021-06-16
-
廉洁自律自我剖析材料(精选)
廉洁自律自我剖析材料((精选多篇)) 信念。科学文化,提高自身素质的终身学习的意识,紧密联系群众,调
【寓言童话】 日期:2020-07-20
-
【名人失败的故事】 关于失败的名人故事
我们最大的弱点在于放弃。成功的必然之路就是不断的重来一次。涓滴之水终可以磨损大石,不是由于它力量强大,而是由于昼夜不舍的滴坠。下面是小编为您整理的名人失败的故事,...
【寓言童话】 日期:2019-05-19
-
康熙字典五行属金的字 [字典中八画五行属金的字信息大全]
在五行中不同属性的字寓意是不相同的,其实同样的属性不同的笔画的字寓意也是一样的,下面小编为你整理了八画五行属金字,希望对你有所帮助! 8画五行属金的字 忮、8画、...
【寓言童话】 日期:2020-03-12
-
【儿童动物的故事大全】 儿童动物故事100篇
对于听故事,几乎所有的儿童都有一个共同点就是百听不厌。一个故事重复数十遍,儿童听时同样要注意力集中,眼睛凝视着讲述者的动作,眼神聚精会神,表现出极大的兴趣。、下面是小编...
【寓言童话】 日期:2019-05-31
-
[人工智能对人类影响英文作文] 人工智能对人类的影响
人工智能就是人造智能,其英文表示是“ArtificialIntelligence”,简称AI。以下是小编整理的人工智能对人类影响英文作文的相关资料,欢迎阅读! 人工智能对人类影响英文作文...
【寓言童话】 日期:2019-05-05
-
[文言文虚词于的用法]虚词于的意义和用法
“文言文”的意思就是指“美好的语言文章”也叫做语体文。文言文虚词于的用法有哪些呢?下面是小编整理的关于文言文虚词于的用法,欢迎阅读 文言文虚词于作为名词的用法 ...
【寓言童话】 日期:2020-03-20
-
学生高考动员演讲稿
学生高考动员演讲稿3篇高考动员演讲稿11 老师们、同学们: 大家下午好!漫漫高考长征路已经进入尾声了
【百家讲坛】 日期:2021-09-22
-
企业安全演讲稿2021
最新企业安全的演讲稿5篇 演讲稿是作为在特定的情境中供口语表达使用的文稿。在充满活力,日益开放的今天
【百家讲坛】 日期:2021-09-22
-
XX镇扶贫项目实施专项整治工作总结_1
XX镇扶贫项目实施专项整治工作总结 为深入贯彻精准扶贫精准脱贫基本方略,认真落实党中央、国务院,省委
【百家讲坛】 日期:2021-09-22
-
对乡镇领导班子干部成员批评意见例文
对乡镇领导班子干部成员的批评看法范文 一、对党委书记XXX同志的批评看法〔3条〕 1、与干部交流偏少
【百家讲坛】 日期:2021-09-22
-
群英乡扶贫资金项目芬坡村祖埇村生产道路硬化工程绩效自评报告
群英乡扶贫资金项目((芬坡村祖埇村生产道路硬化工程))绩效自评报告 一、基本情况(一)群英乡扶贫资金
【百家讲坛】 日期:2021-09-22
-
党委书记警示教育大会上讲话2021汇编
党委书记在警示教育大会上的讲话55篇汇编 党委书记在警示教育大会上的讲话(一) 同志们: 根据省州委
【百家讲坛】 日期:2021-09-22
-
对于2021年召开巡视整改专题民主生活会对照检查材料
关于12021年召开巡视整改专题民主生活会对照检查材料 按照中央巡视组要求和省、市、区委统一部署,区
【百家讲坛】 日期:2021-08-14
-
消防安全知识培训试题.doc
消防安全知识培训试题姓名: 部门班组: 成绩: 一:填空题,每空4分,共44分。 1、灭火剂是通过隔
【百家讲坛】 日期:2021-08-14
-
涉疫重点人员“五包一”居家隔离医学观察工作流程
涉疫重点人员“五包一”居家隔离医学观察工作流程 目前,全球疫情仍处于大流行状
【百家讲坛】 日期:2021-08-14
-
疫情防控致全体师生员工及家长一封信
疫情防控致全体师生员工及家长的一封信 各位师生员工及全体家长朋友: 暑假已至,近期我省部分地方发现确
【百家讲坛】 日期:2021-08-14