全部版块 我的主页
论坛 提问 悬赏 求职 新闻 读书 功能一区 学习笔记1.0
6924 2
2010-12-15
贝叶斯信念网络如何学习?在学习或训练信念网络时,许多情况都是可能的。网络结构可能预先给定,或由数据导出。网络变量可能是可见的,或隐藏在所有或某些训练样本中。隐藏数据的情况也称为空缺值或不完全数据。
如果网络结构已知并且变量是可见的,训练网络是直接了当的。该过程由计算CPT项组成,与朴素贝叶斯分类涉及的计算概率类似。
当网络结构给定,而某些变量是隐藏的时,则可使用梯度下降方法训练信念网络。目标是学习CPT项的值。设Ss个训练样本X1,X2,…Xs的集合,wijk是具有是双亲Ui=uik的变量Y=yijCPT项。wijk可以看作权,类似于神经网络中隐藏单元的权。权的集合总称为w。这些权被初始化为随机概率值。梯度下降策略采用贪心爬山法。在每次迭代中,修改这些权,并最终收敛到一个局部最优解。
基于w的每个可能设置都等可能地假定,该方法搜索能最好地对数据建模的wijk值。目标是最大化 。这通过按 梯度来做,使得问题更简单。给定网络结构和wijk的初值,该算法按以下步骤处理:
1)计算梯度:对每个i, j, k,计算

                7.11


7.11)式右端的概率要对S中的每个样本Xd计算。为简洁计,我们简单地称此概率为p。当YiUi表示的变量对某个Xd是隐藏的时,则对应的概率p可以使用贝叶斯网络推理的标准算法(如商用软件包Hugin提供的那些(http://www.hugin.dk)),由样本的观察变量计算。
2)沿梯度方向前进一小步:



7.12


更新权值,其中l是表示步长的学习率,而 由(7.11)计算。学习率被设置为一个小常数。
3)更新规格化权值:由于权值wijk是概率值,它们必须在0.01.0之间,并且对于所有的i, k 必须等于1。在权值被(7.12)式更新后,可以对它们重新规格化来保证这一条件。
有一些算法,由给定可观察变量的训练数据学习网络结构。该问题是离散优化问题。
附件列表
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2011-3-11 09:13:55
唔 不错 不错
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2015-2-3 14:59:53
请问,贝叶斯网络参数学习  效果如何,有评价的标准么?像是贝叶斯网络结构学习,可以用MDL或者BIC评分来看结构学习好坏。非常感谢!
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群