与原点的距离
假设方程$x^2 y =3$
一种解题思路。首先，与原点距离为a的点全部在半径为a的圆上：
如上图扩大半径：
显然第一次与函数相交的点则为所求距离。
此时，圆和曲线相切，也就是在该点切线相同
所以可以分析出，在极值点，圆与曲线相切
等高线
如下图所示同心圆为等高线：
如下图为函数$f(x, y) = x^2 + y^2$的等高线：
根据梯度的性质，梯度向量：
\(\nabla f=\left(\begin{array}{l}
\frac{\partial f}{\partial x} \\
\frac{\partial f}{\partial y}
\end{array}\right)=\left(\begin{array}{l}
2 x \\
2 y
\end{array}\right)\)
是等高线的法线：
另外一个函数$g(x,y) = x^2 y$的等高线为：
之前曲线$x^2y = 3$是其中值为3的等高线
梯度向量为：
\(\nabla g=\left(\begin{array}{l}
\frac{\partial g}{\partial x} \\
\frac{\partial g}{\partial y}
\end{array}\right)=\left(\begin{array}{c}
2 x y \\
x^{2}
\end{array}\right)\)
也垂直与等高线$x^2y = 3$.(梯度与等高线的切线垂直)
拉格朗日乘子法
求解
根据之前的分析，在极值点，圆与切线相切，梯度与等高线的切线垂直 综合可知，在切点，圆的梯度向量和曲线的梯度向量平行。 用数学表达也就是: \(\nabla f=\lambda \nabla g\)
还必须引入$x^2y = 3$这个条件，来确定具体的等高线。因此联立方程： \(\left\{\begin{array}{l} \nabla f=\lambda \nabla g \\ x^{2} y=3 \end{array}\right.\) 具体的求解： \(\left\{\begin{array}{l} \left(\begin{array}{c} 2 x \\ 2 y \end{array}\right)=\lambda\left(\begin{array}{c} 2 x y \\ x^{2} \end{array}\right) \\ x^{2} y=3 \end{array} \Rightarrow\left\{\begin{array}{l} x \approx \pm 1.61 \\ y \approx 1.1 \\ \lambda \approx 0.87 \end{array}\right.\right.\)
定以
要求函数f在g约束下的极值问题可以表示为： \(\begin{aligned} &\operatorname{minmax} f\\ &\text { s.t. } g=0 \end{aligned}\) s.t.的意思是subject to，服从于，约束于的意思。 可以列出方程组求解： \(\left\{\begin{array}{l} \nabla f=\lambda \nabla g \\ g=0 \end{array}\right.\) 用定以套一下刚才的例子： 令： \(\left\{\begin{array}{l} f(x, y)=x^{2}+y^{2} \\ g(x, y)=x^{2} y-3 \end{array}\right.\) 求： \(\begin{array}{c} \min f(x, y) \\ \text {s.t. } g(x, y)=0 \end{array}\) 联立方程求解： \(\left\{\begin{array}{l} \nabla f=\lambda \nabla g \\ g(x, y)=0 \end{array}\right.\)
变形
定以的一种变形： \(\begin{aligned} &\operatorname{minmax} f\\ &\text { s.t. } g=0 \end{aligned}\) 定以： \(F = f + \lambda g\) 求解下面的方程组即可： \(\left(\begin{array}{c} \frac{F}{\partial x} \\ \frac{F}{\partial y} \\ \frac{F}{\partial \lambda} \end{array}\right)=\left(\begin{array}{l} 0 \\ 0 \\ 0 \end{array}\right)\) 把等式左边的偏导算出来和上面的定以一致。
多个约束条件
如果增加一个约束条件，比如：$x - y = 3$
求：
\(\begin{array}{l}
\quad \min x^{2}+y^{2} \\
\text { s.t. }\left\{\begin{array}{l}
x^{2} y-3=0 \\
x-y-3=0
\end{array}\right.
\end{array}\)
可以从下图中看出约束是这样的：
很显然所求的距离为下图：
如图所示为三者法线的关系：
假设： \(\left\{\begin{array}{l} f(x, y)=x^{2}+y^{2} \\ g(x, y)=x^{2} y-3 \\ h(x, y)=x-y-3 \end{array}\right.\) 那么线性组合就表示为：$\nabla f=\lambda \nabla g+\mu \nabla h$ 联立方程为： \(\left\{\begin{array}{l} \nabla f=\lambda \nabla g+\mu \nabla h \\ g(x, y)=0 \\ h(x, y)=0 \end{array}\right.\) 即可求解
