凸优化系列——无约束优化问题

 最小二乘问题:

 采用适当的方法可将约束优化问题转换为无约束优化问题;

 无约束优化问题的最优性条件

需要说明的是，由于二阶梯度可以取0，我们由一元函数的知识可以知道，它是必要条件而非充分条件，当把等号去掉，就变为充分条件 

 证明：用反证法

充分条件 

        对于最优化问题的求解，其基本思路是，（1）首先找一个x_k，判断x_k是否为最优解；（2）如果x_k不是最优解，找下一个x_k 

 信赖域方法更像是线搜索方法反过来，即先确定步长的范围，再确定方向，比较复杂。

(基于线搜索的)下降算法基本思路 

 关键要素：终止条件、下降方向、步长

线搜索方法：  

当f(x)为简单函数时，我们可以通过表示为a的函数，通过梯度为0，求出a

 基于搜索区间的直接搜索法

        当f是复杂函数时，可以采取基于搜索区间的直接搜索法。首先初始化一个区间，然后在区间中选取两个点，根据函数值的大小缩小区间。很显然，这种方法只适用于单谷。

 均匀搜索法：

通过计算N-1个函数点的值将区间缩小为原来的2/N

 黄金区间法(0.618法)：

        黄金分割法第一次需要计算2个点的函数值，而对于第二次，其中一个点在第一次已经计算过（1-0.618）/0.618=0.618（换成（根5-1）/2也满足） ，只需要计算一个点的函数值

基于导数信息的二分法： 

非精确线搜索Inexact linear search  

四、搜索方向的选择

收敛速度

 朴素的算法：坐标轴交替下降法

优点：不需成本即可获得搜索方向；

 最速下降法(也称为梯度下降法)

 最速下降法：例

 主要问题：当hesse不是正定矩阵时，牛顿方向不一定是下降方向

 牛顿法：例

 Modifified Newton method修正牛顿法

 拟牛顿法Quasi-Newton method

 如何理解：

 满足拟牛顿方程的矩阵很多

  拟牛顿之DFP(Davidon-Fletcher-Powell)方法

拟牛顿之BFGS(Broyden-Fletcher-Goldfarb-Shannon)方法

拟牛顿之SR-1方法