全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 JMP论坛
10521 6
2014-09-09
1、只有这么几个人在做LASSO,他们都是大牛,你可以直接GOOGLE他们的主页,看他们在这块发了什么文章。   yu bin, zhu ji, zhang tong, hui zou, yuan ming, Nicolai Meinshausen, Peter Bühlmann, Martin J. Wainwright, jianqing fan, Liza Levina, Peter Bickel,Tibshirani(Lasso的提出者)
  2、统计和算法不是一回事的。举个例子吧,下面这篇文章就是统计的人发的,其中讨论到如何在GLM上运用SCAD -- LASSO衍生出来的一种惩罚函数项 -- 他们就做的很理论,他们很关心这个“算法”的理论性质,比如估计量是否趋近正太,如果是,lambda该以何种rate收敛。他们也讨论算法,但是他们对算法的要求很简单,能算出来就行。http://www.stat.umn.edu/~hzou/Papers/onestep.pdf
  3、而如下这篇,讨论的基本属于同一个问题,如果将LASSO运用在GLM中的logistic回归上。但是,他们关心的是,如何算得又快又好。你看,这个时候,统计学界所陌生的nestiov都出来了。这个算法非常快,1000多个变量,也就几十秒的事情。
http://www.public.asu.edu/~jye02/Publications/Papers/fp817-Liu-KDD09.pdf

  4、variable selection 是一个热点专题啊,特别是在high dimensional data analysis,
有很多新的方法( lasso, group lasso, elastic net, SCAD...)
  5、请教 lasso regression 和bridge logistic regression
你可以去看一下网址“http://www-stat.stanford.edu/~tibs/lasso.html”上下载文章“Penalized regressions: the bridge vs the lasso”看一下就知道了,如果想了了解这方面更详细的信息,可加qq:381823441,他的硕士论文做的就是这方面的内容。
  6、LASSO有很多令人期待的问题没有解决,所以还是有很多坑可以去填的。要想好好学习这块的话,先读那几篇state-of-the-art的文章,如下:
  

最基本那篇
http://www-stat.stanford.edu/~tibs/lasso.html

  

yuan ming 然后提出的 group lasso
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.79.2062

  

zou hui的elastic net,可以同时自动选取相关程度比较大的变量(LASSO不能)
http://www-stat.stanford.edu/~hastie/TALKS/enet_talk.pdf

  

zou hui 提出的adative lasso,试图避免lasso对参数的shrunkage
http://www.stat.umn.edu/~hzou/Papers/adaLasso.pdf

  

jianqing fan 2001 年提出的另外一种 nonconvex的惩罚项 -- SCAD
http://www.orfe.princeton.edu/~jqfan/papers/01/penlike.pdf

  

其学生08年时接着解决了SCAD的算法问题 -- 实际上就是一种adaptive lasso
http://www.stat.umn.edu/~hzou/Papers/onestep.pdf

  

这方面文献太多了,我给的这几篇是影响比较大的,你可以看看08年这篇的reference,在里面可以找到一些有意思的线索。另外,LASSO还被广泛应用在graphical model上,有兴趣可以看看这几篇文章

http://www.stats.ox.ac.uk/~meinshau/consistent.pdfhttp://arxiv.org/abs/0811.4463
[url=http://www-stat.stanford.edu/~tibs/ftp/graph.pdf]http://www-stat.stanford.edu/~tibs/ftp/graph.pdf
[/url]


二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-9-11 10:16:01
现在研究算法的人比较少,大部分都是应用
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-9-12 18:54:13
ermutuxia 发表于 2014-9-11 10:16
现在研究算法的人比较少,大部分都是应用
因为学习理论也是为了运用,但是理论是基础,而且是最难得那部分,所以还是要打好基础
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-8-25 22:10:24
太有用了!  谢谢分享!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-11-30 16:56:07
感谢!受教!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2016-9-3 08:41:37
谢谢楼主分享。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群