单纯形替换法、步长加速法、Power法等适用于目标函数的导数不存在或导数过于复杂的情形.
最小二乘法是求解最小二
乘问题的特定解法.
求解约束问题
的基本方法有Z-容许方向法、梯度投影法、外点法(外部罚函数法)、内点法(内部罚函数法)、乘子法、线性化法、简约梯度法
等.Z-容许方向法
：利用线性规划得到搜索方向
<Object: word/embeddings/oleObject1.bin>
，然后再通过受限的直线搜索确定步长因子
<Object: word/embeddings/oleObject2.bin>
.梯度投影法
：利用对梯度投影的方式得到搜索方向
<Object: word/embeddings/oleObject3.bin>
，然后再通过受限的直线搜索确定步长因子
<Object: word/embeddings/oleObject4.bin>
.外点法、内点法、乘子法
：通过求解一系列的无约束问题解约束问题.而这一系列无约束问题的目标函数则是根据目标函数及约束函数，通过“惩罚”方式产生.
∶