| 一种基于认知诊断的主观题同行互评技术 |
| |
| 引用本文： | 许嘉,李秋云,刘静,吕品,于戈.一种基于认知诊断的主观题同行互评技术[J].小型微型计算机系统,2022(8):1653-1660. |
| |
| 作者姓名： | 许嘉 李秋云 刘静 吕品 于戈 |
| |
| 作者单位： | 1. 广西大学计算机与电子信息学院;2. 广西大学广西多媒体通信网络技术重点实验室;3. 广西大学广西高校并行与分布式计算重点实验室;4. 东北大学计算机科学与工程学院 |
| |
| 基金项目： | 国家自然科学基金项目(62067001,U1811261)资助；;广西自然科学基金项目(2019JJA170045)资助；;广西高等教育本科教学改革工程项目(2020JGA116,2017JGZ103)资助； |
| |
| 摘 要： | 针对MOOCs平台上大规模主观题作业的同行互评问题，研究人员基于概率模型对评价者的可靠性和偏见进行建模，提出了许多估计主观题作业真实分数的有效技术.然而，现有技术均未同时考虑评价者在待评价作业中的答题表现以及评价者的历史答题表现这两方面因素对其可靠性的影响.鉴于此，提出了基于认知诊断的主观题同行互评技术：首先以评价者的历史答题记录为输入，基于流行的认知诊断模型量化评价者对主观题作业的掌握程度；其后同时基于评价者对主观题作业的掌握程度以及评价者在该主观题作业中取得的真实分数对评价者的可靠性建模；最后结合对评价者偏见的建模提出了估计主观题作业真实分数的同行互评概率模型.真实课堂实验表明，在同行互评活动中，本文提出的同行互评技术对主观题作业真实分数的估计更为准确，比相关技术在真实分数估计误差方面平均降低了42%.
|
| 关 键 词： | 同行互评 认知诊断 DINA模型 主观题 真实分数估计 |
|
|
