优化问题与梯度下降算法
# 优化问题和方法 # 优化问题 寻找某个函数 f(x)f(x)f(x) 的最值的过程称为优化 (optimization). 寻找最小值和最大值可以相互转化。例如,寻找 f(x)f(\boldsymbol{x})f(x) 的最大值可以转化为寻找 −f(x)-f(\boldsymbol{x})−f(x) 的最小值。因此,我们一般认为优化问题是寻找函数最小值的问题。 此外,我们一般认为我们待求的问题不具有简单的数学求解方法,因此最优解需要通过迭代方式产生。 # 目标函数 我们将要求最值的函数 f(x)f(\boldsymbol{x})f(x) 称为目标函数 (objective...
more...