全部版块 我的主页
› 论坛 › 数据科学与人工智能 › 数据分析与数据科学 › R语言论坛
Bayesian无信息先验分布（non - informative prior）
bridog
29368 19
2013-04-07
高手们，有个问题想请教：对于无信息先验分布（non - informative prior）是怎么定义的？我看了一些材料，多处都是按照以下方式定义的。但是对于无信息先验分布，方差不是应该足够大吗（In case of non-informative priors, the variances should have been specified as very large or instead uniform distributions covering the entire range of plausible values should have been used. ）？能否帮我解释下？Thanks.model
{
  for (i in 1:N)
   {   
      pred<-a*pow(d,b)
   
     h~dnorm(pred,prec)
  }
  # Priors
  a   ~ dnorm(0,1.0E-6)  # Is non-informative prior for a?
  b   ~ dnorm(0,1.0E-6)
  prec~dgamma(0.001,0.001)

}
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

全部回复
求证1加1
2013-4-7 18:19:35
当无先验分布时一般有两种选取方法，一是同等无知即我们参数去所有值得可能性相同，故采用均匀分布作为先验分布，二是共轭先验分布，即选取的先验分布使先验分布与后验分布有相同的形式，这个lz可以看看共轭分布族。
希望对你有用。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

bridog
2013-4-8 08:22:01
谢谢楼上的回答。我现在想知道我例子中的是不是也属于无信息先验分布。对于方差大的问题该怎么解释？
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

IntheRed
2013-4-8 10:15:52
你的例子有点奇怪吧， variance都这么小，怎么会是non-informative呢？
variance越大，就意味着你的分布分散的越广，所以，你能确定的关于随机变量的信息就越少。variance越小，分布越集中，就越有助于判断变量的位置。这就是information。
比如你算一个confidence interval，同样的probability或置信度下，variance越大，得到的CI就越宽，即要确定变量的具体位置就越难。
所以，non-informative prior应该用variance很大的分布，例子里面的normal应改为s.d.=1e6吧，gamma也应该改为shape=1000吧，第二个参数不知道你是用的rate还是scale，rate和scale是互为倒数的。如果rate=0.001倒是很好，scale的话，也该为1000。好像大部分统计教材都用scale，不过R的默认是把rate放在前面的。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

bridog
2013-4-8 11:21:08
IntheRed 发表于 2013-4-8 10:15
你的例子有点奇怪吧， variance都这么小，怎么会是non-informative呢？
variance越大，就意味着你的分布分 ...
谢谢你的回答。那我是否可以用均匀分布来表示无信息先验分布？
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

IntheRed
2013-4-8 11:32:58
bridog 发表于 2013-4-8 11:21
谢谢你的回答。那我是否可以用均匀分布来表示无信息先验分布？
uniform可以啊，不过是有限制的。比如你的support是(-inf,inf), 或者[0,inf), 用uniform的话，你没有办法写出pdf的表达式。你可以就假定用常数1做概率密度，但是这样全概率积分为inf。这是一个improper distribution。用来做理论分析，可以的。做simulation，有时候会有问题的。
所以用normal和gamma这样的分布，只要variance很大，是一样的。
Bayesian analysis如果结论对于prior依赖性很大，或者对prior变化很敏感，说明有问题。所以，理想的情况下，prior的具体函数形式选择不应该有多大影响。
二维码

扫码加我 拉你入群

请注明：姓名-公司-职位

以便审核进群资格，未注明则拒绝

点击查看更多内容…
相关推荐
栏目导航
热门文章
推荐文章

分享

微信QQ空间QQ微博
扫码加好友，拉您进群