基于程序理解的编程题自动评分方法

针对传统的编程题自动评分方法没有考虑学生程序是怎样实现编程任务的,以及不能从程序文本的语法结构和语义角度衡量学生程序与正确答案的接近程度等问题,提出一种基于程序理解的自动评分方法.以程序理解的一般过程及基本策略为依据,结合人工阅卷的思维过程,建立评分模型.评分过程可划分为3个阶段:首先将程序代码转换成系统依赖图中间表示形式;然后,对系统依赖图进行标准化转换,消除程序表达方式的多样性;最后,匹配标准化后的学生程序与模板程序系统依赖图并根据匹配结果给出评分.该方法被应用于"C语言编程题自动评分系统"中.实验结果表明:它可以根据学生程序的语法和语义衡量学生程序实现编程任务的正确程度,具有较高的准确性.     

文本相似度计算在主观题评分中的应用

针对传统主观题自动评分准确度低的问题,提出一种基于文本相似度计算的主观题评分方法。利用扩展的《同义词词林》计算词语之间的相似度,根据标准答案中的词语和学生答卷中的词语以及词语之间的相似度构造二部图,通过二部图的最大匹配算法获得标准答案和学生答案的相似度。实验结果表明,该方法可以给主观题评分提供一个较好的参考。     

基于语义相似度的主观题阅卷系统模型设计

主观题阅卷系统是一个值得研究的问题.常见的主观题评分是比对学生答案和参考答案的相似程度得出分数的.自然语言处理里面的分词技术可以将文字切分为词的组合,然后通过计算句子的语义相似度可以得出学生答案和主观题答案的相似度.在这些理论的支撑下,文章提出了一种基于.NET实现的主观题系统模型设计方法.     

基于代表性答案选择与注意力机制的短答案自动评分

短答案自动评分是智慧教学中的一个关键问题。目前自动评分不准确的主要原因是: (1)预先给定的参考答案不能覆盖多样化的学生答题情况; (2)不能准确刻画学生答案与参考答案匹配情况。针对上述问题,该文采用基于聚类与最大相似度方法选择代表性学生答案构建更完备的参考答案,尽可能覆盖学生不同的答题情况;在此基础上,利用基于注意力机制的深度神经网络模型来提升系统对学生答案与参考答案匹配情况的刻画。相关数据集上的实验结果表明: 该文模型有效提升了自动评分的准确率。     

有语法错误的编程题自动评分方法研究——用局部语法分析和采分点匹配实现

针对传统的编程题自动评分方法对存在个别语法错误的学生考试程序只能给出零分、不符合卷面笔试时教师手工阅卷习惯的问题,提出了一种适用于有错误的编程题的评分方法,首先,将有语法错误的学生程序分解为基本语句单元,与模板采分点语句一并经过局部语法分析,转化为语法分析树的中间表示,然后进行采分点匹配,进而输出有语法错误的学生程序的评分结果,该方法适用于考察答题者对基本语法知识的正确使用和对题目关键语义的正确表达,使得对有语法错误的学生程序的评分结果更加符合人工阅卷的思想。     

基于语法树和JavaCC的程序题自动评分系统

为了提高程序题自动评分的准确性,及解决传统评分方法无法从语法结构和语义角度衡量错误的学生程序与正确答案之间的相似度,提出了一种基于抽象语法树匹配的程序题自动评分方法。文中以JavaCC技术为核心,首先通过词法分析、语法分析和语义分析生成错误列表和抽象语法树的中间表示,然后通过语法树切片匹配得分,最后和错误列表结合给出评分结果。文中详细论述了各个模块的设计方法,着重讨论了抽象语法树生成并匹配的细节,设计并实现了一个传统方法与语义分析结合的C＋＋程序题自动评分系统。通过对实际考试的结果进行实验,进而验证了该系统的实用性与有效性。     

机器翻译评测中的模糊匹配

目前,大多数机器翻译自动评测方法都没有考虑在未匹配的词语中可能包含被忽略的信息。本文提出一种在参考译文和待评测译文之间自动搜索模糊匹配词对的方法,并给出相似度的计算方法。模糊匹配和计算相似度的整个过程将通过一个例子进行说明。实验表明,我们的方法能够较好地找到被忽略的、有意义的词对。更重要的是,通过引入模糊匹配,BLEU 的性能得到显著的提高。模糊匹配可以用来提高其他机器翻译自动评测方法的性能。     

一种基于语义与句法结构的短文本相似度计算方法

为了提高短文本语义相似度计算的准确率,提出一种新的计算方法:将文本分割为句子单元,对句子进行句法依存分析,句子之间相似度计算建立在词语间相似度计算的基础上,在计算词语语义相似度时考虑词语的新特征——情感特征,并提出一种综合方法对词语进行词义消歧,综合词的词性与词语所处的语境,再依据Hownet语义词典计算词语语义相似度;将句子中词语之间的语义相似度根据句子结构加权平均得到句子的语义相似度,最后通过一种新的方法——二元集合法——计算短文本的语义相似度。词语相似度与短文本相似度的准确率分别达到了87.63%和93.77%。实验结果表明,本文方法确实提高了短文本语义相似度的准确率。     

基于《知网》的词语相似度算法研究

基于《知网》的词语(句子)相似度计算通常是把义原(词语)之间的最优匹配做为运算的基本单位的,最终的整体相似度数值可由每一部分的相似度值通过适当的加权计算合成而来,这样的做法往往会造成一些匹配对的信息重复和结构不合理。针对这个问题,该文通过统计出两个直接义原集合间的共有信息(共性)和差异信息(个性)来计算集合的相似度,并把此方法引入到词语(句子)的相似度计算中去。最终的实验比对结果表明该文所采用的方法更为稳定和有效。     

面向语句分值的C程序静态评分方法

针对现有评测方法结果过于粗糙的问题,提出面向语句分值的C程序静态评分方法.定义答案程序中语句分值的表示形式,引入程序语句依赖图准确表示待判定程序的语法结构;基于语句分值及依赖关系将程序语句依赖图划分为路径片段集合,通过匹配待判定程序和答案程序的路径片段集合相似度获得程序分值.实验结果表明,相比现有评测方法,该方法能够明显提升程序评分的准确度.     

双匹配焦点融合的开放域答案选择模型

开放域答案选择模型通过对同一问题的不同候选答案打分,寻找与问题最匹配的答案,是问答（QA）系统的重要组成部分。现有开放域QA系统中的答案选择模型较少关注词级与句子级的融合,导致在匹配关系上缺乏上下文的语义联系,或损失个别单词在语法语义上的细节信息。基于相邻相似原理,提出一种融合双匹配焦点的答案选择模型。根据问答任务多语句关联的特点,设计一种可以将词语的问答承接关系和问答语义关系嵌入进词向量的词嵌入方式,并利用该词向量直接计算词对的余弦相似度,得到词级匹配焦点。通过引入注意力机制的Encoder-Decoder模型提取句子级词对匹配焦点,以问题为基准对齐两个焦点分布矩阵,并使用焦点间的相对距离融合词级与句子级匹配矩阵,获得问题与答案的相关性得分。在Wiki-QA、TREC-QA两个公开问答数据集上的实验结果表明,该模型与多跳注意力模型、层级排序模型相比,平均准确率均值分别提高0.080 1和0.057 1,平均倒数排名分别提高0.017 6和0.006 6。     

基于领域本体的主观题自动评阅算法的研究

针对VSM不能揭示文档中特征词间的潜在语义关系,相似度计算准确性较低的问题,结合本体模型的结构特点,从语义重合度、语义距离以及本体结构等因素综合考虑概念间的相似度计算,提出了一种基于领域本体的文档向量空间模型。该模型通过构建概念间的语义相似度矩阵对特征词权值进行调整,建立包含语义关系的标准（学生）答案的向量空间模型,并用＂VSM模型＋余弦值＂算法评估学生答案和标准答案的相似度。实验表明,与传统方法相比,该方法提高了评测效果及准确率。     

基于句框架的自动阅卷算法

构建《数据结构》课程的领域本体和标准（学生）答案的句框架,在此基础上,形成一种新的主观题自动阅卷方法。该方法对标准（学生）答案进行分词、词性标注、句法分析、代词消解、提取句框架、计算词语相似度。与以往的主观题自动阅卷系统相比,该系统尽可能地让计算机以理解“语义”为核心,保持标准答案和学生答案的语义联系,评分准确率有所提高。     

操作题自动评分系统的设计与实现

针对word 2000、Excel2000上机操作题采用手工方式批阅效率偏低问题,首先提出了操作题自动评分系统的设计思想,即先通过设置标准答案系统设置操作题答案,然后启动自动评分系统实现自动评分.介绍了所采用的Visual Basic for Ap-plication(VBA)技术、Word对象模型和Excel对象模型,并设计了标准答案数据表和学生成绩表用于存储操作题答案和学生成绩,详细描述了设置标准答案和自动评分系统的实现过程,提出了实现操作题自动评分的一些关键算法并给出了部分源代码.实验结果表明,采用所设计的自动评分系统能够显著提高操作题评分的效率.     

基于加权二部图匹配的中文段落相似度计算

为了改进传统以向量空间模型（VSM）为代表的基于词频统计的方法在中文段落相似度计算时存在的精度不高问题,在基于加权二部图匹配的思想上提出了一种计算中文段落之间相似度的方法。该方法将相似度计算分为段落和句子两个层次,将句子作为简单段落看待,也使用二部图匹配进行相似度计算。首先利用句子主干词汇提取算法来提取句子的主干词汇,将主干词汇作为二部图的顶点,把主干词汇之间的相似度作为二部图顶点之间的权值系数,进行句子相似度的计算。其次,将句子作为加权二部图的顶点,把句子之间的相似度作为二部图顶点之间的权值系数,进行段落之间的相似度计算。实验结果表明,该方法与VSM相比,由于它能准确识别同义词,自动匹配两个在段落中不同位置的相似词语,因而在准确度上有了很大的提高。     

依赖关系三元组匹配在问题回答中的应用

描述了一种新的计算问题与支持答案句相似度的方法, 即基于依赖关系三元组匹配的方法. 该方法引入了问题中的疑问性和非疑问性部分的信息, 采用了启发式规则扩展问题的依赖关系三元组, 从而匹配变形的答案句. 同时把问题与支持答案句的相似度作为新的特征, 应用于开放领域的问题回答(Question answering, QA)任务中的答案排序. 实验结果表明, 引入新特征的答案排序方法与通常的基于密度的方法相比, 在相对精度指标上提高了8.2%, 在平均排序倒数(Mean reciprocal rank, MRR)评价上提高了8%.