全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 数据分析与数据挖掘
12304 4
2012-01-28
我最近再看bias-variance 这个概念。看了下bioshop上公式,还是不是很理解。用这个链接上公式做例子吧。

链接:http://www.inf.ed.ac.uk/teaching ... e4/BiasVariance.pdf

假设有x={1,2,3},相对应的t={7,8,9} ,假设f(x)训练得到的结果是y={5,6,7}
那么MSE = [(7-5)的平方 + (8-6)的平方 + (9-7)的平方] /3  =4

之后,下一步 他要求E(MSE]求 期望值 ,然后开始一路推导,最后推导到给出bias 和variance 公式
E{(fi -yi)的平方} = E{(fi-E(yi)^2} + E{(E{yi) - yi)^2} = bias + variance

E(yi)的解法是 (5+6+7)/3= 6;
(fi-E(yi)^2  =>  (7-6)^2+(8-6)^2+(9-6)^2 =  1+4+9=14; 所以E(fi-E(yi)^2) = 14/3;
(E{yi) - yi)^2 => (6-5)^2+(6-6)^2+(7-6)^2 = 1+0+1=2;所以E(E(yi)-yi)^2) = 2/3;

你看这样解释解法对吗。 但是E(MSE)= 4/3 不等于14/3+2/3, 我这里expectation是不是用错方法了。求指教谢谢
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2013-3-28 22:40:10
E{(fi-E(yi)^2}=[fi-E(yi)]^2=bias^2即外面的E可以去掉,因为fi是确定的,E(yi)也是确定的
yi是一个随机变量,它的期望不是你那么求,比如你举得例子5 6 7 ,拿5来说,我可能的取值是{5.2,5,4.8,5.4,4.6}等等,只是现在预测的是5,它的期望不是(5+6+7)/3,你的理解不对。
f是(统计模型)解析解,t是(test set)观测解,y是model预测解

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-6-17 18:26:44
文档中用的是E{yi},指的可能不是yi的期望,而是每个yi的期望?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-12-25 22:58:59
请问这个问题最后解决了吗?我也碰到了一样的疑惑
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2018-12-26 17:06:10
理论上MSE可以分解为三项:variance+squared bias+noise,理论推导中认为E(t)=f,即假设模型扰动项的期望为零,但是在数值模拟设定扰动项之后,生成的数据量不足够大时,E(t)不等于f,最后两项也不能互相抵消,所以不能得到MSE=VARIANCE+BIAS的结果。可以自己做个例子检验一下,很好算,如果假设扰动项均值为0的话noise算出来不是特别大
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群