| 融合多粒度动态语义表征的文本分类模型 |
| |
| 引用本文： | 张骏强,高尚兵,苏睿,李文婷.融合多粒度动态语义表征的文本分类模型[J].南京信息工程大学学报,2023,15(2):148-159. |
| |
| 作者姓名： | 张骏强 高尚兵 苏睿 李文婷 |
| |
| 作者单位： | 淮阴工学院 计算机与软件工程学院/江苏省物联网移动互联技术工程实验室, 淮安, 223003 |
| |
| 基金项目： | 国家重点研发计划(2018YFB1004904);江苏省"六大人才高峰"资助项目(XYDXXJS-011);江苏省"333工程"资助项目(BRA2016454);江苏省教育厅重大研究项目(18KJA520001);淮阴工学院研究生科技创新计划项目(HGYK202121) |
| |
| 摘 要： | 在对化工领域类文本进行分类任务时，由于文本的专业性以及复杂多样性，仅仅依靠现有的词向量表征方式，很难对其中的专业术语以及其他化工领域内相关字词的语义进行充分表征，从而导致分类任务的准确率不高.本文提出一种融合多粒度动态语义表征的文本分类模型，首先在词嵌入层使用动态词向量表征语义信息并引入对抗扰动，使得词向量具有更好的表征能力，然后利用多头注意力机制进行词向量权重分配，获得带有关键语义信息的文本表示，最后使用提出的多尺度残差收缩深层金字塔形的卷积神经网络与混合注意力胶囊双向LSTM网络模型分别提取不同粒度的文本表示，融合后对得到的最终文本表示进行分类.实验结果表明，相比于现有模型，所提出的模型使用不同词向量表示时，在化工领域文本数据集上F1-Score最高可达84.62%,提升了0.38～5.58个百分点；在公开中文数据集THUCNews和谭松波酒店评论数据集ChnSentiCorp上进行模型泛化性能评估，模型也有较好表现.
|
| 关 键 词： | 文本分类 对抗扰动 多粒度 多头注意力机制 深度残差收缩 预训练语言模型 |
| 收稿时间： | 2022/1/12 0:00:00 |
Text classification model incorporating multi-granularity dynamic semantic representation |
| |
| ZHANG Junqiang,GAO Shangbing,SU Rui,LI Wenting.Text classification model incorporating multi-granularity dynamic semantic representation[J].Journal of Nanjing University of Information Science & Technology,2023,15(2):148-159. |
| |
| Authors: | ZHANG Junqiang GAO Shangbing SU Rui LI Wenting |
| |
| Affiliation: | School of Computer and Software Engineering/Jiangsu Internet of Things Mobile Interconnection Technology Engineering Laboratory, Huaiyin Institute of Technology, Huaian 223003 |
| |
| Abstract: | |
| |
| Keywords: | text classification adversarial perturbation multi-granularity multi-head attention mechanism deep residual shrinkage pre-trained language models |
|
| 点击此处可从《南京信息工程大学学报》浏览原始摘要信息 |
|
点击此处可从《南京信息工程大学学报》下载全文 |
