融合领域多词特征的英文武器装备名识别研究

武器装备名是军事领域中一类重要的命名实体,英文武器装备名的自动识别对于军事领域的信息处理有着重要的价值。作为一种融合了上下文特征的统计模型,条件随机场(conditional random field,CRF)在对命名实体的识别中有着广泛的应用。针对武器装备名的构造特点及CRF模型在使用语言特征上存在的不足,对已有CRF模型提出两点改进:丰富模型使用的特征,对武器装备名的构造模式与要素进行分析总结,形成针对武器装备名的要素类,并将该类别信息作为特征提供给CRF模型使用;针对构成武器装备名的要素大多是多词单位,将标注单元由词扩展到多词组合。实验结果显示,改进后模型对武器装备名识别的准确率和召回率均有明显提升,准确率由85.62%提升为90.60%,召回率由42.27%提升为88.17%。该方法不仅对于军事领域相关的信息处理任务有着重要价值,并且对于其他语种和相关领域的研究都有着重要的借鉴意义。     

融合多类型特征的特定领域实体识别研究

特定领域实体具有分布稀疏、类型有限、领域性强等特点,与普通命名实体具有较大差别,在使用神经网络模型构建识别模型中面临训练语料规模有限、带标实体稀疏等困难。以武器装备名识别为例,研究深度学习框架下,词性、句法和领域知识融入神经网络模型的方法和效果。实验结果表明,在融入词性和领域知识后,武器装备名识别的F值分别提升了0.97%与9.5%。此外,通过在不同语料规模下进行实验并定量分析不同类型特征的分布特点,初步给出造成不同类型特征对深度学习模型有着不同支持作用的原因。     

基于维基百科的领域实体发现研究

提出一种基于维基百科的领域实体发现方法,该方法将构成领域实体的典型字或词作为种子元素,利用少量种子元素作为实体发现的初始知识,有效地克服了传统方法在获取种子词条时过分依赖领域专家的局限,同时还利用维基百科词条中的分类信息,通过计算维基百科类与领域类间的隶属度实现领域实体的有效扩充。人工抽样对实体发现结果进行检验,平均准确率达到80%左右,同时还将构建出的领域实体知识应用到文本分类中,结果显示,当训练集具有一定规模时,以实体为特征的分类模型的准确率较以词为特征分类模型的准确率有显著提高,说明实体知识在实际应用中的有效性。提出的方法具有较好的领域独立性和语种独立性,可较为便捷地移植到其他语种与领域。     

基于隶属度的命名实体自动获取研究

利用维基百科(Wikipedia)和已有命名实体资源,提出维基百科类的隶属度计算方法,通过匹配、计算、过滤、扩展、去噪五个步骤构建出具有较高质量和较大规模的命名实体实例集.在英语维基百科数据上进行实验,结果显示,基于隶属度方法自动获取的人名实例规模较DBpedia抽取出的人名实例规模高出近10倍,通过对不同隶属度区间的抽取实例进行人工检验,发现抽取出的前15000个维基百科类的准确率达到99％左右,能够有效支持命名实体类实例的扩充.     

SSD模型及其在汉语词性标注中的应用

该文提出了一种以符号解码与数值解码并举的SSD(Symbol-and-Statistics Decoding Model)模型,该模型被用于汉语词性标注任务,其标注正确率在封闭测试中达到97.08%,开放测试中达到95.67%,较二阶HMM的95.56%和94.70%都有较为显著提高。SSD模型的正确率虽然不及最大熵模型和CRF模型,但它的训练时间远少于后者,说明SSD模型在处理自然语言中的特定任务时是一种较强的实用模型。     

融合领域特征向量的武器装备名深度学习识别方法

提出融合领域特征向量与词向量的识别方法,将基于武器装备名特征库与维基语料训练得到的领域特征向量引入Bi-LSTM+CRF模型,并对武器装备名进行自动识别实验。引入领域特征向量后模型的识别准确率由78.30%提升到82.10%,召回率由65.25%提升到67.30%,对未登录武器装备名识别的召回率从45.08%提升到50.16%。此外,将领域特征融入条件随机场(conditional random field,CRF)模型,实验表明,在小规模语料库与领域特征支持的情况下,CRF模型的效果要优于Bi-LSTM+CRF模型且对稀疏特征的利用效率更优。