贝叶斯决策理论的基础
在过去的几年中，使用正式的统计方法来分析数据科学中的定量数据已大大增加。贝叶斯决策理论（BDT）是一种这样的方法。也称为贝叶斯假设检验和贝叶斯推理，是一种基本的统计方法，它使用分布和决策所伴随的成本来量化各种决策之间的权衡。在模式识别中，它用于设计分类器，并假设问题以概率形式提出，并且所有相关概率值都是已知的。通常，我们没有这么完善的信息，但是它是学习信号处理中的机器学习，统计推断和检测理论时的一个不错的起点。BDT在科学，工程和医学中也有许多应用。
从BDT的角度来看，任何类型的概率分布（例如明天天气的分布）都代表先验分布。也就是说，它代表了我们对今天天气的期望如何。这与惯常推论（经典的概率解释）相反，在经典概率解释中，关于实验的结论是从一系列此类经验的重复中得出的，每个重复都产生统计上独立的结果。对于常客来说，概率函数将是一个简单的分布函数，没有特殊含义。
在BDT中，可以将决策视为假设，该假设决定了随机变量Y的观察值来自何处。例如，在图像分析中，您可能想要确定图片是猫还是狗，在医学中您想要查看心跳是正常的还是不规则的，或者在雷达中您可能想要确定目标是否在地图上或不。我们假设两个可能的假设H_ {0}（无效假设）和H_ {1}（替代假设）对应于两个可能的概率分布P_ {0}并P_ {1}位于观察空间上\伽玛。我们写这个问题，因为H_ {0}：P_ {0}（y）对H_ {1}：P_ {1}（y）。决策规则 \三角洲用于H_ {0}对H_ {1}是观察组的任何分区\伽玛成组\ Gamma_ {0}和\ Gamma_ {1} = 1- \ Gamma_ {0}。我们认为决策规则如下：
\ delta（y）= \ left \ {\ begin {array} {ll}如果y \ in \ Gamma_ {1} \\为1，则如果y \ in \ Gamma_ {0} \ end {array} \ right为0。
我们希望优化选择方式，\ Gamma_ {1}以便为决策分配成本，这些成本是一些正数。C_ {ij}是假设成立H_ {i}时选择假设所产生的成本H_ {j}。决策规则也可以写为Y观测值的似然比L（y），然后通过将该比率与阈值进行比较来做出决策\ tau：
\ delta（y）= \ left \ {\ begin {array} {ll}如果L（y）\ geq \ tau \\为1，如果L（y）<\ tau \ end {array} \ right为0。
哪里
L（y）= \ frac {p_ {1}（y）} {p_ {0}（y）} 和 \ tau = \ frac {\ pi_ {0}（C_ {10} -C_ {00}）} {\ pi_ {1}（C_ {01} -C_ {11}）}
然后，我们将每个假设的条件风险定义为假设为以下条件\三角洲时决策规则所产生的预期（平均）成本：
R_ {0} = C_ {00} P_ {0}（\ Gamma_ {0}）+ C_ {10} P_ {0}（\ Gamma_ {1}）
R_ {1} = C_ {11} P_ {1}（\ Gamma_ {1}）+ C_ {01} P_ {1}（\ Gamma_ {0}）
R_ {0}是选择的风险H_ {0} 时，  H_ {1} 是真的乘以这个决定的可能性加选择H_ {1} 时  H_ {0} 乘以这样做的可能性是真实的。接下来我们分配先验概率\ pi_ {0} 这  H_ {0} 是真的无条件的观察，我们分配先验概率\ pi_ {1} = 1- \ pi_ {0}  那  H_ {1} 是真实的。给定风险和先验概率，我们可以定义贝叶斯风险，即决策规则的总体平均成本：
r（\ delta）= \ pi_ {0} R_ {0}（\ delta）+ \ pi_ {1} R_ {1}（\ delta）
H_ {0}vs的最佳决策规则H_ {1}是使贝叶斯风险的所有决策规则最小化的规则。这样的规则称为贝叶斯规则。下面是决策边界的简单说明性示例，其中p_ {0}和p_ {1}是高斯，我们拥有统一的成本和相等的先验。
题库