2020/01/22
《百面机器学习-算法工程师带你去面试》读书笔记
《No.21: p187~p197》第八章 采样

Q69 MCMC采样法如何得到相互独立的样本?

可同时运行多条马尔可夫链，不同链上的样本事独立的；或者在同一条马尔可夫链上每隔若干个样本才选取一个，可得到互相独立的样本。

Q70 如何对贝叶斯网络进行采样? 如何只需考虑一部份变量的边缘分布，如何采样? 如果网络中含有观测变量，又该如何采样?

1        如何对贝叶斯网络进行采样?
1.1        采用祖先采样
1.2        根具有项图的顺序，先对祖先节点进行采样，只有当某个节点的所有父节点都已完成采样，才对该节点进行采样。
2        只考虑一部份变量的边缘分布的采样?
2.1        先用祖先采样先对全部随机变量进行采样，然后直接忽视哪些不需要的变量的采样值即可。
2.2        如果要对边缘分布进行采样，先用祖先采样得到全部变量的一个样本，然后忽视无关变量即可。
3        如果网络中含有观测变量，如何采样?
3.1        参考重要性采样的思想，不再对观测变量进行采样，只对非观测变量采样。
3.2        亦可用MCMC采样法来进行采样。

Q71 对于二分类问题，当训练集中正负样本非常不均衡时，如何处理数据以更好地训练分类模型?

1        基于数据的方法
1.1        对数据进行重采样，使原本不均衡的样本变得均衡。
1.2        随机采样是最简单的方法
1.3        可采用Informed Undersampling来解决由于随机欠采样带来的数据丢失问题。
2        基于算法的方法
2.1        改变模型训练时的目标函数来矫正这种不平衡性。
2.2        当样本极不均衡时，可将问题转化为单类学习、异常检测。