最优化理论与方法（书籍）
请问下面的梯度和hesse矩阵怎么求？
Perry Wong
规划控制算法
这不就是标准的二次规划吗，建议看看矩阵向量求导公式，根据公式我们就可以计算出标量函数f对优化变量x的一阶导，也就是梯度▽f=Ax+b，再对其进行求一阶导，也就是海森矩阵f"=A^T，由于A是对称矩阵，因此A^T=A，而这个A就是海森矩阵，二次规划中只要保证这个矩阵是半正定，那么标量函数f就是凸函数，意味着它不会受初值影响，总是能收敛到全局最优值。 推导过程可能你得翻一翻矩阵论那本书了，不过我觉得也没必要，你只要记住这…
邻近算子怎么求??
金鱼马
学生
[公式]
数值优化| 线搜索方法
偏不学代数
不在更新与回答优化相关知识
上一节主要学习了无约束优化问题的解的条件，这一节主要学习优化问题求解中步长的确定1. 最优化问题的求解算法求解最优化问题的基本方法是迭代算法，迭代算法是指采用逐步逼近的计算方法来逼近精确解，即选择一个初始点 [公式] 后，根据迭代算法生成 [公式] ，使得 [公式] ，其中 [公式] 为精确解。最优化方法有两种求解方式线搜索方法信赖域方法首先介绍线搜索方法 2. 基于线搜索的最优化算法实现思路给定初始点 [公式]
秩一校正定理
若羽
Sherman-Morrison定理 [公式] 为非奇异矩阵 [公式] 任意向量 [公式] [公式] 的秩一校正 [公式] 非奇异，其逆矩阵 [公式] 定理推广形式 [公式] 为非奇异矩阵 [公式] 任意向量为 [公式] 矩阵 [公式] 可逆 [公式] 可逆，且满足条件 [公式]
【最优化方法】敏感性分析
普若杰克福瑞
一、动机在理论分析中，我们往往分析的是问题的标准形式，即 [公式] 但是在实际应用中，问题的建模往往会产生一些扰动，即 [公式]
最优化| 凸集、凸函数与凸优化问题
偏不学代数
不在更新与回答优化相关知识
上一节学习了线性优化的有关知识点以及如何使用单纯形法求解线性规划问题。这一节将学习凸优化的知识点，包括凸集、凸函数的定义以及如何求解一个凸优化问题。但是本节介绍的知识点是凸优化知识点中的冰山一角，可以看下中科大-凸优化 以及Boyd写的书1. 为什么要研究凸优化问题因为凸优化问题具有非常好的性质，如果目标函数是凸函数，并且可行域 [公式] 是凸集，则最优解满足 [公式] 结合…
近端梯度下降（Proximal Gradient Descent）（3/4）
mmdong2
香港城市大学 哲学博士
在之前文章中，我讲解过 [文章: 梯度下降法（1/4）] [文章: 次梯度下降法（2/4）] 梯度下降法针对可导凸函数（可以在每个点求解出梯度值），次梯度下降法针对不连续凸函数（一些点不可导，不能求解出梯度值）。比起梯度下降法，次梯度法的速度比较缓慢。为此，针对于一些整体不可微分但却可以分解的目标函数来说，我们可以使用一种更快的算法——近端梯度法。近端梯度法在下面链接中近端梯度法（Proximal Gradient Descent） 已经被很好的解释…
关于凸集、凸函数的一些证明
若羽
Problem 1: [公式] 是凸集，闭包 [公式] 也是凸集。Proof： [公式] [公式] [公式] [公式] 则： [公式]
跪求大佬能解答以下这道题！！我太菜了，最好能写点过程！！
小麦
学生
[图片] 想问问这几个选项该怎么判断是不是凸集，是从几何上入手还是从计算上入手
数值优化| 增广拉格朗日方法【乘子法】
偏不学代数
不在更新与回答优化相关知识
上一节已经学习了罚函数法，通过罚函数法将约束优化问题转换为无约束优化问题。这一节将学习增广的拉格朗日方法，其中增广的拉格朗日方法又被称为乘子法。增广拉格朗日方法的提出是为了改进罚函数法的不足1. 等式约束的优化问题这一节仍然先从等式约束的优化问题讲起，在推广到一般的优化问题。考虑如下等式约束的优化问题 [公式] [公式]
KKT
绊缘
新汐斯塔的海浪，伴随着火山旅梦的夏日
0. 前言在经历了xxxx史2000字评论，以及xxx导论的大作业的狂轰乱炸后，我的五一才开始了，所以先拿kkt助兴，不过最近有一道算法题涉及到了相关知识，有点666，就从那道题展开吧(当时没有ac，因为数组每次做完后没有清0)。 https://ac.nowcoder.com/acm/contest/55992/D 题目大意是： [公式] 当时我先是套了一下kkt，发现自己不清楚自己在写什么后放弃(因为还…
【最优化方法】拟凸函数定义及其证明
普若杰克福瑞
一、下水平集的定义函数 [公式] 的下水平集（ [公式] ）定义如下 [公式] 凸函数的下水平集是凸的下水平集是凸的，该函数不一定是凸函数（个人理解：原因在于下水平集描述的是定义域中的集合，无法反映值域的集合凹凸性）二、Epigraph的定义函数 [公式] 的 [公式] 定义如下 [公式]
在约束型强化学习中使用对偶法(Primal Dual Optimization)时如何处理多约束问题？
强化不学习
我今年三岁啦
PDO方法可以处理多约束的问题，拉格朗日乘子从Primal上看只是违反不同约束给目标函数所带来的惩罚的系数，m个约束自然会有m个乘子。CMDP需要求解的优化问题如下： [公式] 其中 [公式] 是拉格朗日乘子， [公式] 是约束违反量， [公式]
数值优化| 对偶问题及强弱对偶定理
偏不学代数
不在更新与回答优化相关知识
上一节学习了约束优化的二阶充分条件，这一节开始将学习约束优化的对偶问题，这一节稍微有点难理解，但非常重要！1. 对偶问题的提出一个问题的提出并不是无缘无故的，一定有它背后的原因 如果原问题是非凸问题，那么将无有效的算法求解出它的全局解。一个顺其自然的想法就是构造一个与原问题紧密的问题，并且这个问题本身就很简单，而这个简单的问题就是这一节要讨论的对偶问题鲁棒优化、锥优化在某些情况下与对偶问题等价解出线…
凸优化：Barrier Method 为什么需要Ax=b？
ldq17
因为凸优化问题的标准形式是 [公式] 利用对数障碍消除不等式约束后，自然生下了等式约束。至于为什么等式约束左边必须是线性函数，这是因为只有线性函数是既凸又凹的，因此其等价的两个不等式约束 [公式] 和 [公式]
ceres是如何选择求解算法的？
椒盐蘑菇
小米科技 相机算法工程师
Solver::Options
在约束型强化学习中使用对偶法(Primal Dual Optimization)时如何处理多约束问题？
闻清丶
不会摄影的厨师不是一个好程序猿
CMDP中，约束是通过对某些状态动作对添加cost，这个设计就类似于是reward。然后在actor的loss设计中，目标函数为最大化return，最小化累计折扣cost。具体算法可以参考PPO-拉姆达，sac-拉姆达等。
最优化| 线性优化
偏不学代数
不在更新与回答优化相关知识
上一节学习了ADMM算法，至此将最优化方法中的数值优化部分粗略的学习完了，这一节将学习线性优化1. 线性优化研究的问题线性优化研究的问题具有以下特点 目标函数为决策变量的线性函数约束条件为线性等式或线性不等式约束1.1 线性优化的标准型线性优化问题的标准型具有以下形式，记该问题为 [公式] [公式] 其中 [公式]
请问下面的梯度和hesse矩阵怎么求？
品味科技
信息技术行业 高级工程师
[公式] = [公式] + [公式] [公式] = [公式] [图片]
讨论量
76