基于弹性网惩罚的复合分位数回归估计

针对高维数据的建模分析问题,提出一种基于弹性网络法和复合分位数回归相结合的稳健估计方法。 在该估计方法中,所提出的模型能够有效进行变量选择与系数压缩,并处理数据间的多重共线性与群组效应问题,在大数据时代下具有较广的适应性。 同时,与已有的惩罚最小二乘估计和惩罚分位数回归估计相比,该估计方法不仅放宽了对模型误差项的分布要求,而且综合考虑了多个分位点的损失,在面对离群值或呈现尖峰、厚尾分布数据时能够保持更强的稳健性和抗干扰性。 在一定条件下,对所构建模型估计的相合性与稀疏性进行了理论分析,结果表明:所提出的模型能够将不相关的变量完全压缩至零,且估计量和真实系数以趋于 1 的概率相同。 此外,在数值模拟方面,设置了 5 种误差项分布条件,根据设定的 4 项指标,通过与其他惩罚函数模型以及损失函数模型进行比较,结果表明新提出的方法具备更好的稳健性与有效性。     

基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L₂E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L₂E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L₂E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.     

地产股价线性模型的变量选择实证研究

建立了房地产上市公司财务指标和其股票价格的线性回归模型,利用最小二乘回归、主成分回归和逐步回归方法估计回归系数,对比3种方法发现基于逐步回归方法的变量选择是最全面和可靠的;进一步建立了房地产股价指数与其成分股的多元线性回归方程,运用弹性约束估计方法实现成分股变量选择问题,解决了回归系数不显著性和股指追踪问题。     

高维Extremile回归中变量选择的类弹性网惩罚方法（英文）

近几年提出的Extremile回归不仅保留了分位数回归通过设定不同的分位点全面掌握数据信息的优点,而且与分位数回归中和Expectile回归相比也有其独特的优势,特别是在风险保护上的优秀表现。本文提出了一种带惩罚的线性Extremile回归模型用以解决高维数据下的变量选择问题,其中惩罚函数是由和惩罚函数组合得到的类弹性网(QEN)惩罚函数,同时给出了解决相关优化问题的EM算法,以及在较为宽松条件下即能成立相关理论性质。在数值模拟中,我们通过与L₀,L₁,L₂和弹性网惩罚函数的比较,展示了类弹性网惩罚函数。     

基于弹性网约束的稳健变量选择

大数据时代下收集到的数据常含有异常值或呈现尖峰厚尾以及变量之间具有较强的相关性,针对此问题,结合秩回归和自适应弹性网(Adaptive Elastic-net )提出了一种高效稳健的变量选择方法。此方法的最大优点在于不仅能够有效处理协变量之间的强相关性而且还能克服多重共线性问题,同时能抵抗厚尾分布或异常值的影响,实现稳健的变量选择。在数值计算方面,采用二次近似和牛顿迭代算法以获得新变量选择方法的稳定数值解,仿真实验表明：新提出的方法比现有方法表现更好,特别是对于厚尾分布或异常值的情况。最后,通过对中国重要的股票市场指数——中证100指数的跟踪,进一步表明该方法在有效样本下具有良好的表现。     

基于调整秩回归的组变量选择

EXP惩罚是一种指数形式的惩罚函数,它近似于L₀惩罚. EXP惩罚最小二乘估计具有模型选择的相合性和渐近正态性.但是,惩罚最小二乘方法对重尾分布和含有异常值的混合分布的效果并不理想.该文考虑回归模型中的变量是以组结构形式存在的,研究基于调整秩回归的EXP型组变量选择,给出了调整秩回归估计的理论性质,并通过数据模拟和实例分析,检验调整秩回归的EXP惩罚的效果,结果表明这种方法具有较好的表现.     

稳健的变量选择方法及其应用

在已有的变量选择方法和稳健估计方法的基础上,提出了一种针对纵向数据的稳健的变量选择方法,通过模拟衡量其稳健性,并将其应用到一组实际的纵向数据分析中.模拟和实例分析结果表明,提出的稳健的变量选择方法在选择变量、估计变量系数的同时,对数据中可能存在的异常值有明显的抵抗作用.     

基于t函数的稳健变量选择方法

在已有研究的基础上,提出一种新的基于t函数的稳健变量选择方法.该方法通过惩罚估计方程中的惩罚函数达到变量选择的效果,方程中的权重矩阵和有界得分函数对自变量和因变量中的异常值有很好的限制作用,可同时达到稳健的变量选择和稳健估计.通过分析3种不同自由度的t函数性质,选取自由度为2的t函数,并与基于Huber函数的稳健变量选择方法进行比较.数值模拟结果表明,基于t函数的稳健变量选择方法在2种污染力度、3种污染方式的数据污染情况下,其稳健性均明显优于基于Huber函数的稳健变量选择方法.与参数估计效果相比,基于t函数的稳健变量选择方法优势更明显.     

自适应弹性网络的变量选择一致性

针对样本维数随着样本个数变化的情况,研究了自适应弹性网络变量选择的一致性.首先在部分正交条件下,证明了初始的单变量回归子是零一致的,然后据此证明了自适应弹性网络能取得一致的变量选择.从渐近性能的角度考虑,所得结论是现有方法在超高维空间里的推广.     

序约束下单向分类方差分析模型的Bayes变量选择

考虑序约束下单向分类方差分析模型的变量选择问题,提出两种基于SSVS的Bayes变量选择方法,并设计一种简单且易操作的Gibbs抽样算法进行后验抽样.数值模拟和应用实例结果表明,该方法效果较好.     

基于惩罚性变权的动态网络接入选择算法

针对常权评估导致的网络选择不均衡问题,提出了一种联合结构熵权和惩罚性变权的网络选择算法。首先根据用户和业务特点确定指标体系,并采用结构熵权法计算指标常权重。然后根据实际网络参数,通过惩罚变权函数对常权重进行动态调整。最后计算各备选网络的综合性能,确定最佳接入网络。该算法同时考虑了用户偏好及实际网络参数,使判决结果兼顾用户与网络双侧利益。仿真结果表明,网络负载较高时,所提算法可有效降低网络阻塞率、均衡网络间负载,保证用户与网络双侧收益。     

基于局部形状约束网络的人脸对齐

基于级联回归的人脸对齐方法已经取得了很大的成就,但是由于复杂的级联回归器设计、人为设计特征等局限性的影响使得人脸对齐没有找到一个性能更好的解决方案,尤其对于大姿态、大表情等条件下的人脸对齐任务.因此,为解决该问题,提出了一种新颖的人脸对齐方法——基于人脸局部形状约束.首先利用卷积神经网络初始化人脸整体形状;然后利用人脸局部区域的同质性,将人脸区域进行划分,对每一个区域定义局部形状约束;最后再由整体形状估计做为全局约束,组合各个面部局部形状约束,对整体面部特征点进行回归.实验结果表明,该方法提高了人脸对齐的精确度且速度上达到了实时.     

基于弹性网络的大鼠肝再生关键基因选择

针对大鼠肝再生基因表达谱芯片数据挖掘问题,通过把肝再生过程划分为8个不同时间的子过程,将其转化为二分类问题,进而利用弹性网络对每1个子过程分别进行分类和相关基因选择.此外,以细胞增殖为主线,分析了所选择基因间的通路关系,验证了所选基因的生物合理性.     

基于约束Laplacian分值的半监督特征选择算法

针对Laplacian分值法进行特征选择时过分依赖样本局部结构信息的不足，提出一种改进的基于约束Laplacian分值的半监督特征选择算法。该算法利用样本之间的cannot-link成对约束关系作为全局结构信息，在进行特征选择时，不仅能尽量保持局部结构信息，而且还尽量保持了全局的cannot-link约束关系。基于Yale和PIE(Fave pose,Illamination,Expression dadbase)人脸数据库的实验表明，该算法性能显著优于Laplacian分值法，与Fisher分值法和最新的约束分值法相当，且在稳定性方面优于后者。