全部版块 我的主页
论坛 经济学人 二区 外文文献专区
1430 12
2022-06-09
英文标题:
《Sparse Reduced Rank Regression With Nonconvex Regularization》
---
作者:
Ziping Zhao, Daniel P. Palomar
---
最新提交年份:
2018
---
英文摘要:
  In this paper, the estimation problem for sparse reduced rank regression (SRRR) model is considered. The SRRR model is widely used for dimension reduction and variable selection with applications in signal processing, econometrics, etc. The problem is formulated to minimize the least squares loss with a sparsity-inducing penalty considering an orthogonality constraint. Convex sparsity-inducing functions have been used for SRRR in literature. In this work, a nonconvex function is proposed for better sparsity inducing. An efficient algorithm is developed based on the alternating minimization (or projection) method to solve the nonconvex optimization problem. Numerical simulations show that the proposed algorithm is much more efficient compared to the benchmark methods and the nonconvex function can result in a better estimation accuracy.
---
中文摘要:
本文研究稀疏降秩回归(SRRR)模型的估计问题。SRRR模型广泛用于降维和变量选择,在信号处理、计量经济学等领域有着广泛的应用。该问题是在考虑正交约束的情况下,通过稀疏诱导惩罚最小化最小二乘损失的问题。文献中已将凸稀疏诱导函数用于SRRR。在这项工作中,提出了一个非凸函数来更好地诱导稀疏性。基于交替极小化(或投影)方法,提出了一种求解非凸优化问题的有效算法。数值仿真结果表明,与基准方法相比,该算法具有更高的效率,非凸函数的估计精度更高。
---
分类信息:

一级分类:Statistics        统计学
二级分类:Machine Learning        机器学习
分类描述:Covers machine learning papers (supervised, unsupervised, semi-supervised learning, graphical models, reinforcement learning, bandits, high dimensional inference, etc.) with a statistical or theoretical grounding
覆盖机器学习论文(监督,无监督,半监督学习,图形模型,强化学习,强盗,高维推理等)与统计或理论基础
--
一级分类:Computer Science        计算机科学
二级分类:Machine Learning        机器学习
分类描述:Papers on all aspects of machine learning research (supervised, unsupervised, reinforcement learning, bandit problems, and so on) including also robustness, explanation, fairness, and methodology. cs.LG is also an appropriate primary category for applications of machine learning methods.
关于机器学习研究的所有方面的论文(有监督的,无监督的,强化学习,强盗问题,等等),包括健壮性,解释性,公平性和方法论。对于机器学习方法的应用,CS.LG也是一个合适的主要类别。
--
一级分类:Quantitative Finance        数量金融学
二级分类:Computational Finance        计算金融学
分类描述:Computational methods, including Monte Carlo, PDE, lattice and other numerical methods with applications to financial modeling
计算方法,包括蒙特卡罗,偏微分方程,格子和其他数值方法,并应用于金融建模
--
一级分类:Statistics        统计学
二级分类:Methodology        方法论
分类描述:Design, Surveys, Model Selection, Multiple Testing, Multivariate Methods, Signal and Image Processing, Time Series, Smoothing, Spatial Statistics, Survival Analysis, Nonparametric and Semiparametric Methods
设计,调查,模型选择,多重检验,多元方法,信号和图像处理,时间序列,平滑,空间统计,生存分析,非参数和半参数方法
--

---
PDF下载:
-->
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2022-6-9 19:53:38
具有非凸正则化的稀疏降阶回归IEEE学生成员Ziping Zhao和IEEEAbstracts研究员Daniel P.Palomar在本文中,考虑了稀疏降阶回归(SRRR)模型的估计问题。SRRR模型广泛应用于维数约简和变量选择,在信号处理、计量经济学等领域有着广泛的应用。该问题的目的是在考虑正交约束的情况下,用稀疏诱导惩罚最小化平方损失。在文献中,凸稀疏诱导函数被用于SRRR。在这项工作中,提出了一个非凸函数来更好地进行稀疏诱导。基于交替极小化(或投影)方法,开发了一种有效的算法来解决非凸优化问题。数值模拟表明,与benchm-ark方法相比,prop-osedalgorithm方法更有效,非凸函数可以获得更好的估计精度。指数项多变量回归、低秩、变量选择、因子分析、非凸优化。一、 简介降秩回归(RRR)[1]、[2]是一种多元线性回归模型,其中系数矩阵具有低秩特性。伊森曼(Izenman)[3]首先提出了“降阶回归”的名称。用yt表示响应变量(或因变量)∈ RPandpredictor(或独立)变量(按xt)∈ RQ,一般RRR模型如下所示:yt=u+ABTxt+εt,(1)这项工作得到了香港RGC 16208917研究基金的支持。赵志强的工作得到了香港博士研究生奖学金计划(HKPFS)的支持。Z、 赵和D.P。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-9 19:53:41
Palomar就职于香港九龙清水湾香港科技大学电子与计算机工程系(电子邮件:ziping)。zhao@connect.ust.hk; palomar@ust.hk).其中回归参数为u∈ RP,A∈ RP×rand B∈ RQ×randε是最大的创新。矩阵A通常被称为敏感度(或暴露)矩阵,B被称为因子矩阵,线性组合Btxt被称为潜在因子。ABTESSION形成的“低阶结构”大大降低了模型的参数维数,提高了模型的解释能力。当响应变量被认为依赖于预测变量的几个线性组合时,或者当这种线性组合特别重要时,RRR模型被广泛使用。RRR模型已用于许多信号处理问题,例如阵列信号处理[4]、状态空间建模[5]、滤波器设计[6]、无线通信信道估计和均衡[7]–[9]等。它还广泛应用于经济指标和金融经济学。计量经济学中的问题也是研究RR估计问题的动机【1】。在金融经济学中,当通过一组经济变量的滞后值对一组经济指数进行建模时,可以使用它。它还被广泛用于建模金融资产收益率与一些相关解释变量之间的关系。有人提出了几种资产定价理论来测试投资组合的效率【10】,并通过降阶回归测试对行业投资组合的资产回报数据进行了实证验证【11】。RRR模型与时间序列建模中的向量误差校正模型[12]密切相关,潜在因素可用于统计数据比率[13]。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-9 19:53:45
有关RRR模型的更多应用,请参见[14]。与因子提取的低秩结构一样,也可以考虑矩阵B通道上的行群稀疏性来进一步实现预测变量选择,这导致了sp-arseRRR(SRRR)模型[15]。由于Btxt可以解释为连接响应变量和预测值的线性因子,SRRR只能生成所有预测值的子集。变量选择是数据分析中非常重要的目标,因为它有助于模型的解释性,提高估计和预测的准确性。在[15]中,作者首先考虑了SRRR估计问题,其中群体稀疏导致了群体套索惩罚[16]。提出了一种基于交替最小化(AltMin)方法的算法[17]。然而,该算法有一个双环,其中次梯度或变分方法用于内部问题的求解。由于双循环特性,这种算法在实践中可能会非常慢,其中可能需要大量迭代才能在每次迭代中获得足够精确的解。除此之外,除了用于稀疏性诱导的凸函数外,人们普遍认为非凸稀疏性诱导函数可以获得更好的性能[18],本文建议将其用于稀疏性估计。本文将SRRR估计问题的目标定为具有稀疏诱导性的一般最小二乘损失。为了进行模型识别,添加了正交性约束[15]。为了解决这个问题,提出了一种基于AltMin的单循环算法。为了追求低成本的更新步骤,进一步采用了优化最小化方法[19]和非凸性再分配方法[20],使变量更新成为两个闭合形式的投影。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-9 19:53:48
数值仿真结果表明,与基准算法相比,该算法效率更高,非凸函数可以获得更好的估计精度。二、稀疏降秩回归SRRR估计问题的形式如下:最小化A、BF(A,B)、L(A,B)+R(B),服从ATA=I,(2)其中L(A,B)是样本损失函数,R(B)是行群稀疏正则化器。添加约束ATA=I用于识别,以处理参数的酉不变性[15]。我们进一步假设样本路径{yt,xt}Nt=1(N≥ 最大值(P,Q))可从(1)获得。RRR模型的最小二乘l oss l(A,B)是通过最小化样本来获得的l-标准lo ss如下:L(A,B)=PNt=1年初至今- ABTxt文件=Y- ABTX公司F、 (3)式中,Y=[Y,…,yN]和X=[X,…,xN]。稀疏优化[21]作为实现变量选择的一种方法,已成为许多研究兴趣的焦点(例如,群体套索方法)。对于向量x∈ RK,稀疏度水平通常由l-标准,即kxk=PKi=1sgn(| xi |)。实际上l-norm被用作最紧的凸松弛,如[15]所示。虽然优化很容易,而且已经证明支持更稀疏的解决方案,但l-范数可能导致有偏估计。在本文中,截距项被省略,但没有失去[15]中的一般性,因为它总是可以通过假设响应和预测变量的平均值为零来删除-1-0.5 0 0.5 10.20.40.60.81.2图。1、本项目l-”标准“kxk,sgn(x),l-范数ρl(| x |)、| x |和非凸非光滑稀疏诱导函数ρ(| x |)。解决方案不如预期的精确和稀疏,并产生较差的预测性能[18]。非凸正则化子具有严格的凸性,但具有更严格的逼近性能,建议用于稀疏诱导,其性能优于凸正则化子l-标准
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2022-6-9 19:53:51
本文考虑了两个由ρ(| x |)表示的非光滑稀疏诱导函数:非凸的Geman函数[22]和凸的l-标准然后,由ρ(| x |)导出的行群稀疏正则化器R(B)如下所示:R(B)=PQi=1ξiρ(kbik),(4)其中bidenotes是B的第i行,ρ(| x |)来自ρGM(| x |)=x |θ+| x |(θ>0)和ρl(| x |)=| x |,如图1所示。基于L(A,B)和R(B),由于非凸非光滑目标和非凸约束集,(2)中的问题是一个非凸非光滑优化问题。三、 基于交替极小化的问题求解问题(2)中的目标函数有两个变量b锁(A,b)。在本节中,将提出一种替代最小化(也称为两块坐标下降)算法[17]来解决该问题。在第(k+1)次迭代中,该算法根据以下两个步骤更新变量:A(k+1)← arg minA:ATA=如果A.B(k)B(k+1)← arg最小BFBA(k+1),(5) 在哪里A(k),B(k)是在第k次迭代时生成的更新。首先,让我们从最小化步骤w.r.t.变量A开始。当B固定在B(k)时,问题变得最小化Y- AB(k)TXF受制于ATA=I,(6),其中” 表示“等效”至附加常数。这个非凸问题是经典的或正交的Procrustes问题(Projection)[23],它有一个封闭形式的解,在下面的引理中给出。引理1。[2 3]式(6)中的ort hogonal Procrustes问题可以等效地重新表述为以下形式:最小化A.- P(k)AF受制于ATA=I,其中P(k)A,YXTB(k)。设细奇异值分解(SV D)为PA=USVT,其中U∈ RQ×rand S,V∈ Rr×r,则最优upda te A(k+1)给定为b yA(k+1)=UVT。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群