最近在看神经网络的内容，于是突然有个比较BP神经网络和OLS法估参时的区别的想法，研究了半天算法，发现有几个：
首先，BP神经网络估参时，也即训练样本时进行学习时，是将“残差”算出后，转换到损失函数，看损失函数是不是在在一个设定值以下，即误差上限以下。这个思想，也即把参数的估计设定在一个区间内，只要这个区间内的参数都可以接受。
而OLS直接计算参数，计算的是使残差平方和最小的那个参数，这样的做法有种简单直接的感觉，过于粗暴。虽然理论上更精确，但是实践中，这样做出来的值过于理想化，预测意义不足。

另一个，BPNN对参数做了更多次数的估计（训练、学习），而OLS只有一次，直接对估计得到的参数进行参数检验，而不是对参数本身进行处理。这样做的感觉有点真实参数为方法服务，而不是方法为真实参数服务的感觉。

Updating............................