面向高维和不平衡数据的供应链金融信用评价

针对供应链金融模式下中小企业的信用风险控制问题,提出了一种面向高维和不平衡数据的信用风险预测模型。首先,基于Pearson-XGBoost两阶段特征选择建立供应链金融信用评价指标体系;其次,通过改进的NM-SMOTE算法对数据集进行平衡化;最后,利用Focal loss函数对XGBoost算法改进,并通过改进的粒子群算法进行优化,从而建立最终的信用评价模型。通过实验结果表明,提出的INS-IPSO-FLXGBoost模型对于中小企业具有更好的预测效果,可以更有效地识别风险企业。     

特征选择方法在信用评分系统中的应用

信用评分系统是在信用风险管理中比较重要的应用,可通过大数据分析技术构建评估分析模型来解决信用风险预测问题。具体而言:基于scikit-learn平台,利用平台中的特征选择方法构建有效模型,并将模型应用至实际数据集中得出信用评分,根据所得的评分结果向信用评估人员提供决策建议,从而降低最终风险。     

改进SMOTE方法基于XGBoost的信用评分模型

针对信用数据中的高维稀疏特征与样本不平衡问题易导致模型分类性能欠佳,提出一种新颖的框架来构建信用评分模型.首先,通过计算特征相似度解决高维稀疏特征;其次针对样本不平衡问题提出基于特征聚类改进的SMOTE方法(FC-SMOTE),以平衡数据集进而提高模型分类性能;最后,采用XGBoost作为基分类器构建信用评分模型.选择...     

基于自适应特征融合与转换的小样本图像分类

小样本学习中数据采样不断变化的特点使得模型特征提取不充分,同时,模型对提取的特征也难以进行相应操作;数据分布的变化也影响着小样本模型的性能。针对这些问题,提出一种基于自适应加权多路分支小样本图像分类模型。多路特征处理模块对输入数据进行特征提取和融合,以便充分利用少量数据;自适应的支路权重使得特征信号随特征进行相应的放缩;特征转换模块对多变的数据分布进行适应性变化,以便更好地聚合同类,提高分类效果。通过使用Caltech-UCSD Birds-200-2011数据集和mini-ImageNet数据集,对所提模型在不同场景下进行分类效果测试。实验结果表明,所提模型在5-Way 1-Shot和5-Way 5-Shot任务中的准确率分别比baseline相比分别提升9.81、8.16个百分点和9.16、9.21个百分点,验证了模型的有效性。     

SMOTE过采样及其改进算法研究综述

近年来不平衡分类问题受到广泛关注。SMOTE过采样通过添加生成的少数类样本改变不平衡数据集的数据分布,是改善不平衡数据分类模型性能的流行方法之一。本文首先阐述了SMOTE的原理、算法以及存在的问题,针对SMOTE存在的问题,分别介绍了其4种扩展方法和3种应用的相关研究,最后分析了SMOTE应用于大数据、流数据、少量标签数据以及其他类型数据的现有研究和面临的问题,旨在为SMOTE的研究和应用提供有价值的借鉴和参考。     

基于GMDH的迁移特征选择模型研究*

将迁移学习和数据分组处理算法集成起来,提出了一种基于数据分组处理算法的迁移特征选择(GM-DH-TFS)模型。在UCI的四个数据集上,将GMDH-TFS模型与以全部特征作分类(FULL)的结果以及常用的特征选择模型(前向监督特征选择模型(SFFS)、前向半监督特征选择模型(FW-SemiFS)和迁移特征选择模型(TFS))作比较实验,结果表明,GMDH-TFS在特征选择方面比其他四种方法有更好的效果,在小样本情况下也得到了同样的结果。GMDH-TFS模型可以在数据分布不一致的情况下进行特征选择,同时面对数据匮乏也能取得理想的效果。     

网络计算机模型下海量大数据存储系统设计

对网络计算机模型下海量大数据进行安全稳定的存储,可以提高网络计算机的使用价值,增加其使用周期。但目前的海量大数据存储方法在存储过程中,无法做到对其进行灵活高效的存储,存在大数据存储分布密度较低,存储开销较大等问题。为此,以网络计算机模型体系结构为基础,提出了一种基于ARM的海量大数据存储系统设计方法。该设计方法先利用ARM芯片对网络计算机模型下海量大数据存储系统进行硬件构造,将网络海量大数据中的可利用与不可利用数据进行分类处理,采用VISA结构根据数据分类结果对大数据存储系统软件部分进行设计,依据大数据调度模型和存储相似度特征对大数据存储的时间,质量等方面进行计算,利用计算结果对大数据传输的阈值以及分布密度进行记录,最后根据循环分段的计算方式进行冗余大数据特性压缩,并对海量大数据的常规数据和冗余数据进行存储。实验仿真证明,所提方法提高了海量大数据存储的兼容性,增强了大数据存储的精确性和灵活性。     

基于ML-kNN算法的大数据分类系统设计

传统的大数据分类系统无法对海量数据的独立标签进行相关处理,导致系统内大数据的分类处理结果精确度较低。针对这一问题,提出了基于ML-kNN算法的大数据分类系统设计。系统硬件部分采用C/S混合式架构,处理器的设计选用单片机模式;系统软件部分通过设计大数据准备模块将数据集群的节点信息分配传递到系统的处理器中,通过数据模拟层提取大数据的分类特征,依据大数据的非结构文本特点设计大数据分类模块,同时基于ML-kNN算法设计分类结果分析模块,计算出数据集的样本特征标签概率,从而完成大数据分类系统的设计。测试证明,随着数据量的不断增多,该系统分类处理数据的准确率与召回率较传统的数据分类系统具有显著优势,在大数据的分类处理方面具有更好的性能。     

基于难分样本挖掘的对抗自编码器推荐系统

针对在推荐系统领域中常用数据集的数据分布不平衡、稀疏性大和用户评分偏好不同等问题,提出了基于难分样本挖掘的对抗自编码器推荐模型。考虑到用户偏好差异,使用均模型对数据集进行特征提取处理,在保留数据统计学特征的同时,降低了计算复杂度。之后,基于三元组损失算法对经过均模型处理的数据集进行难分样本挖掘。通过对数据集样本进行正负分类,提升了训练样本质量。再将正负样本分类后的数据分别作为对抗自编码器的输入,从重构和对抗两方面共同对评分预测模型进行训练。同时,采用Adam优化算法为不同参数单独计算更新梯度。实验结果表明,该推荐模型显著提升了推荐性能,多项指标优于基线模型。基于难分样本挖掘的推荐自编码器推荐系统具有一定实用价值。     

基于逆类别注意力机制的电商文本分类

电商数据所属类别对于分析电商数据有重要意义,基于人力的分类无法适应如今海量的电商数据,基于传统算法模型的分类难以提取有价值的人工特征.本文采用BiLSTM模型并且引入注意力机制,将其应用于电商数据分类中.该模型包括Embedding层、BiLSTM层、注意力机制层和输出层.Embedding层加载Word2Vec开源工具训练得到的词向量,BiLSTM层捕捉每个词语的上下文信息,注意力机制层为每个词语分配权重,合成新的样本特征.实验表明,基于逆类别率的注意力机制在电商数据的分类准确率达到91.93％,与不加注意力机制的BiLSTM模型和其他引入的注意力机制相比,均有不同程度的提高.此模型电商数据分类中有良好的效果,为注意力机制的引入提供了新的思考方向.     

面向信贷不平衡数据的高斯混合欠采样算法

为提高分类算法在信贷风险领域不平衡数据的预测性能,提出一种基于高斯混合模型(Gaussian mixture model,GMM)的欠采样算法,将其应用在信贷不平衡数据领域中。采用高斯混合模型对多数类样本进行聚类欠采样(under-sampling),消除样本间的不平衡问题。实验比较该算法与传统的欠采样方法,进行该算法的抗噪鲁棒性分析,实验结果表明,该算法能够有效提升分类器的性能,其对信贷数据集具有较强的鲁棒性。     

基于SMOTE和XGBoost的贷款风险预测方法

近年来,随着在线信贷的飞速发展,贷款总量不断加大,违约概率不断提升。因此对贷款风险进行深入研究,对在线信贷企业预防互联网金融风险是非常具有现实意义的。针对贷款数据非平衡分布、大量噪声、维度高的问题,本文提出一种基于SMOTE和XGBoost的贷款风险预测方法。通过特征工程对数据进行降维和去噪;针对数据的非平衡问题,使用SMOTE算法进行过采样,平衡正负样本数目;基于以上工作,构建XGBoost分类模型,与一些传统分类算法进行对比,然后对比在不同正负样本比例时,预测结果的有效性。实验表明,相比于传统分类模型,XGBoost算法在贷款风险预测模型中具有更好的效果,通过SMOTE算法增加少数类样本的比例可以提高预测结果的有效性。     

Least squares support vector machines ensemble models for credit scoring

Due to recent financial crisis and regulatory concerns of Basel II, credit risk assessment is becoming one of the most important topics in the field of financial risk management. Quantitative credit scoring models are widely used tools for credit risk assessment in financial institutions. Although single support vector machines (SVM) have been demonstrated with good performance in classification, a single classifier with a fixed group of training samples and parameters setting may have some kind of inductive bias. One effective way to reduce the bias is ensemble model. In this study, several ensemble models based on least squares support vector machines (LSSVM) are brought forward for credit scoring. The models are tested on two real world datasets and the results show that ensemble strategies can help to improve the performance in some degree and are effective for building credit scoring models.     

A study of Taiwan's issuer credit rating systems using support vector machines

By providing credit risk information, credit rating systems benefit most participants in financial markets, including issuers, investors, market regulators and intermediaries. In this paper, we propose an automatic classification model for issuer credit ratings, a type of fundamental credit rating information, by applying the support vector machine (SVM) method. This is a novel classification algorithm that is famous for dealing with high dimension classifications. We also use three new variables: stock market information, financial support by the government, and financial support by major shareholders to enhance the effectiveness of the classification. Previous research has seldom considered these variables. The data period of the input variables used in this study covers three years, while most previous research has only considered one year. We compare our SVM model with the back propagation neural network (BP), a well-known credit rating classification method. Our experiment results show that the SVM classification model performs better than the BP model. The accuracy rate (84.62%) is also higher than previous research.     

基于改进混合采样和XGBoost算法的信用卡欺诈检测方法

随着金融机构信用卡业务的快速发展,信用卡欺诈行为成为金融机构面临的严峻问题。针对金融机构信用卡数据分布不均衡问题,本文采用过采样、降采样、SMOTE+ENN、SMOTE+Tomeklin、改进的SMOTE+Tomeklin和改进的SMOTE+ENN混合采样这6种不同采样方法对不平衡数据进行平衡处理,然后将平衡数据集输入到多种分类算法模型中进行实验比对,最后提出一种基于改进的SMOTE+ENN混合采样和XGBoost算法的信用卡欺诈行为检测模型。通过5种评价指标验证该检测方法不仅提高了信用卡欺诈行为不平衡数据的区分度,同时提高了信用卡欺诈行为检测的准确性和可行性。     

基于SVM的房贷信用评估的应用研究

信贷风险是金融机构风险主要来源.支持向量机(SVM)在解决两类问题上是一种较好的分类方法,其学习模型有较强的稳定性.对SVM在房贷信用评估应用中的问题进行了研究和解决,如核函数选取,参数选取,样本非均衡问题等.实验得出在实际应用中径向基模型较好,采用Grid-search方法调整参数,能达到更好的推广能力和预测结果,用分别惩罚支持向量机能有效解决样本非均衡问题.试验结果也证明了基于SVM的房贷信用评估方法优于原有的打分方法.     

面向金融行业的大数据迁移的研究与实现

现有的金融行业的数据管理模式主要依赖于传统关系型数据库,然而传统架构受到拓展能力和存储性能的限制,难以满足大数据时代快速增长的海量数据量处理的需要。针对金融数据规模大、跨地域、跨系统存储、数据多样化等特点,提出了HiETL大数据迁移管理平台,实现了异构关系型数据库业务系统向Hadoop大数据平台的统一迁移,以及海量数据的集中整合、拓展存储、高效分析查询等一站式管理平台,在保证迁移准确的情况下,其速度可达到3?MB/s。     

A Novel Strategy for Mining Highly Imbalanced Data in Credit Card Transactions

The design of an efficient credit card fraud detection technique is, however, particularly challenging, due to the most striking characteristics which are; imbalancedness and non-stationary environment of the data. These issues in credit card datasets limit the machine learning algorithm to show a good performance in detecting the frauds. The research in the area of credit card fraud detection focused on detection the fraudulent transaction by analysis of normality and abnormality concepts. Balancing strategy which is designed in this paper can facilitate classification and retrieval problems in this domain. In this paper, we consider the classification problem in supervised learning scenario by creating a contrast vector for each customer based on its historical behaviors. The performance evaluation of proposed model is made possible by a real credit card data-set provided by FICO, and it is found that the proposed model has significant performance than other state-of-the-art classifiers.     

基于规则引擎的金融风控系统

金融科技企业推出了以小额现金贷为主导产品的一种新型金融模式：P2P网络借贷模式。现金贷产品自推出以来，在很短的时间内就积累了大量的客户。如何制定快速有效的金融风控策略，提高客户信息数据处理效率，及时预测防范业务中信用及欺诈风险，成为金融企业亟待解决的问题。对此，本文提出基于规则引擎的金融风控模型，实现风控规则策略和程序硬编码的解耦，在此基础上进行特征因子以及特征模型的设计，对于实现金融科技企业信贷体系中的自动化审批将起到很大的推动作用。