Network traffic classification based on ensemble learning and co-training

Classification of network traffic is the essential step for many network researches. However,with the rapid evolution of Internet applications the effectiveness of the port-based or payload-based identifi-cation approaches has been greatly diminished in recent years. And many researchers begin to turn their attentions to an alternative machine learning based method. This paper presents a novel machine learning-based classification model,which combines ensemble learning paradigm with co-training tech-niques. Compared to previous approaches,most of which only employed single classifier,multiple clas-sifiers and semi-supervised learning are applied in our method and it mainly helps to overcome three shortcomings:limited flow accuracy rate,weak adaptability and huge demand of labeled training set. In this paper,statistical characteristics of IP flows are extracted from the packet level traces to establish the feature set,then the classification model is created and tested and the empirical results prove its feasibility and effectiveness.     

结构化学习的噪声可学习性分析及其应用

噪声可学习性理论指出,有监督学习方法的性能会受到训练样本标记噪声的严重影响.然而,已有相关理论研究仅针对二类分类问题.致力于探究结构化学习问题受噪声影响的规律性.首先,注意到在结构化学习问题中,标注数据的噪声会在训练过程中被放大,使得训练过程中标记样本的噪声率高于标记样本的错误率.传统的噪声可学习性理论并未考虑结构化学习中的这一现象,从而低估了问题的复杂性.从结构化学习问题的噪声放大现象出发,提出了新的结构化学习问题的噪声可学习性理论.在此基础上,提出了有效训练数据规模的概念,这一指标可用于在实践中描述噪声学习问题的数据质量,并进一步分析了实际应用中的结构化学习模型在高噪声环境下向低阶模型回退的情况.实验结果证明了该理论的正确性及其在跨语言映射和协同训练方法中的应用价值和指导意义.     

Towards Defense Against Adversarial Attacks on Graph Neural Networks via Calibrated Co-Training

Graph neural networks (GNNs) have achieved significant success in graph representation learning. Nevertheless, the recent work indicates that current GNNs are vulnerable to adversarial perturbations, in particular structural perturbations. This, therefore, narrows the application of GNN models in real-world scenarios. Such vulnerability can be attributed to the model’s excessive reliance on incomplete data views (e.g., graph convolutional networks (GCNs) heavily rely on graph structures to make predictions). By integrating the information from multiple perspectives, this problem can be effectively addressed, and typical views of graphs include the node feature view and the graph structure view. In this paper, we proposeC²oG, which combines these two typical views to train sub-models and fuses their knowledge through co-training. Due to the orthogonality of the views, sub-models in the feature view tend to be robust against the perturbations targeted at sub-models in the structure view.C²oGallows sub-models to correct one another mutually and thus enhance the robustness of their ensembles. In our evaluations,C²oGsignificantly improves the robustness of graph models against adversarial attacks without sacrificing their performance on clean datasets.     

基于半监督学习和支持向量机的煤与瓦斯突出预测研究

针对支持向量机要求输入向量为已标记样本,而实际应用中已标记样本很难获取的问题,提出将半监督学习和支持向量机结合的煤与瓦斯突出预测方法;介绍了采用SVM预测煤与瓦斯突出的流程及其输入向量的选择;对半监督学习中的协同训练算法进行了改进:在同一属性集上训练2个不同分类器SVM和KNN,将2个分类器标记一致的样本加入训练集,从而充分利用未标记样本不断补充信息,更新训练集标记样本,达到强化训练集的目的。测试结果表明,改进后的算法比单独的支持向量机预测方法准确率更高。     

基于半监督协同训练的百科知识库实体对齐

针对传统实体对齐方法中的有监督学习算法依赖大量标注数据,以及特征表示不适用于百科知识库等问题,提出一种基于半监督协同训练的实体对齐方法。将实体对齐建模为一个带约束的二分类问题,充分利用实体名、属性、描述文本及其中的时间、数值等关键信息,组合生成多维特征;将特征划分为2个相对独立的视图,通过2个视图上分类器的协同训练,迭代地从未标注数据中学习同义实体的分布情况。在2个中文百科上的实验结果表明,使用半监督协同训练方法进行实体对齐的F1值达到84.3%,较其他方法效果最优,证明了其有效性和在百科知识库上的实用价值。     

一种基于主动学习的集成协同训练算法

为了更好地发挥主动学习、半监督学习和集成学习这3种机器学习方法的优势,研究了1个不需要2个充分冗余视图、泛化能力强的高效学习算法。从聚类假设出发,给出每轮协同训练过程中添加自动标记样本的置信度度量方法,降低误标记率;提出作为主动选择未标记样本依据的贡献度的概念,贡献度越高的样本,越具有人工标记的价值,在协同训练迭代结束后,选择贡献度高的样本标记,就能增强反馈的效果,提升学习性能,提出一种基于主动学习的集成协同训练算法。应用于图像检索的实验结果表明,提出的算法是高效可行的。     

中文口语理解弱监督训练方法

标注数据的获取一直是有监督方法需要面临的一个难题,针对中文口语理解任务中的意图识别研究了结合主动学习和自训练、协同训练两种弱监督训练方法,提出在级联框架下,从关键语义概念识别中获取语义类特征子集和句子本身的字特征子集分别作为两个"视角"的特征进行协同训练。通过在中文口语语料上进行的实验表明:结合主动学习和自训练的方法与被动学习、主动学习相比较,可以最大限度地降低人工标注量;而协同训练在很少的初始标注数据的前提下,利用两个特征子集进行协同训练,最终使得单一字特征子集上的分类错误率平均下降了0.52%。     

一种基于教学模型的协同训练方法

在很多实际问题中,很容易得到大量未标记数据而较难获取数据的标记;所以半监督学习在过去的10多年中得到了很大的关注.基于不一致性的半监督学习是其中一种十分重要的风范,协同训练是其代表方法.至今为止,大部分协同训练方法在选择未标记示例进行标记时只考虑预测学习器的置信度,而忽视了学习器的需求.受到真实教学系统的启发,提出了一种针对协同训练的教学模型TaLe,其中预测学习器是“教”者,而另一方则为“学”者.进而基于该模型给出了一种新的协同训练方法CoSnT,同时考虑了“教”的置信度和“学”的需求度.实验结果表明CoSnT在收敛效率和泛化性能上都优于标准的协同训练算法.     

基于独立成分分析和协同训练的垃圾网页检测

垃圾网页检测具有重要意义,由于只有少量标记网页,所以可使用半监督协同训练方法检测垃圾网页。将网页特征分为两个视图,即内容视图与链接视图。首先使用独立成分分析分别提取两视图特征的独立成分,然后进行协同训练。实验结果表明,该方法可有效提高垃圾网页检测精度,同时验证了对两个视图分别进行独立成分分析相比于其他方法更为有效。     

基于协同训练与LS-SVM的集成传感器在线温度补偿

为利用机器学习对集成传感器实现在线补偿,使算法具有标定未知样本和更新样本集的能力,利用协同训练的方式,对最小二乘支持向量回归机进行改进,提出基于协同训练的支持向量回归算法,使用临近法对未知样本进行标定和选择,同时对新的样本空间进行剪枝,在保证反映新样本特性的前提下尽量减少对学习模型影响小的样本数量。实验证明,该算法在泛化能力不下降的情况下提高了回归精度,运用在集成传感器的在线补偿上,能降低获的成本,并取得良好的补偿效果。