最近一直在看变量选择的文章,用的模型加上惩罚项,对模型的系数进行估计,看过friedman 的坐标下降法的文章,里面可以直接写出系数估计的解析式,线性模型用坐标下降法就可以解决,但是如果是广义线性模型,不能写出解析式,目标函数是似然函数加惩罚项该怎么用坐标下降法呢。现在看到范剑青的SCAD的变量选择的文章Variable Selection via Nonconcave Penalized
Likelihood and its Oracle Properties,用了牛顿迭代法把系数估计出来,没有详细的写是如何中是如何把系数压缩到0,的,一直很疑惑,文章中写到If betaj is very close to 0, then set ‚betaj D 0. Otherwise they can be locally approximated by a quadratic function as.....这里的close也没有写出明确的标准,也没有用到软阈值之类的, 编程也由于这个问题停滞不前,有没有谁能解答一下呢,谢谢~~~~
原文截图如下:
牛顿迭代公式如下: