$n$元函数微分

👨‍🏫对于一个$n$元函数$f(x_1,x_2,...,x_n)$ ，有：

其中，$df(x_1,x_2,...,x_n)$为该$n$元函数$f(x_1,x_2,...,x_n)$的全微分

👉全微分的本质：对于$n$元函数$f(x_1,x_2,...,x_n)$ 而言，在$n$维空间中的一点$(x_1,x_2,...,x_n)$上，各个维度单位（极其微小的）变化$\Delta{x_i},\forall i \in \{1,2,...,n\}$ 所引起的函数值变化$\Delta{f(x_1,x_2,...,x_n)}$

$n$元函数梯度

☝$n$元函数含有$n$个维度，因此求该函数的梯度时会涉及到$n$个方向，每个方向的梯度为一次导数$\displaystyle\frac{\partial{f}}{\partial{x_i}}$，代表其他方向不变，该方向上单位各方向的梯度构成梯度向量：

值得注意，梯度向量指的是各维度上单位变化引起的函数值变化，而这个单位为各维度微分，我们将其称为微分向量：

🧠注意，梯度向量和微分向量的内积即为上述$n$元函数全微分

💡因此，$n$元函数微分本质上为该函数在$n$维空间中某点沿梯度的增长率，也可以理解为在这一点处综合梯度与坐标轴方向，使用梯度来逼近函数在该点的趋势

柯西不等式

设$n$维空间存在向量$\mathbf{A}$和向量$\mathbf{B}$ ，则有：

原理很简单:

三角函数恒小于等于1，故柯西不等式成立

为什么梯度是函数上升最快的方向

⛱ 易知，微分向量和梯度的模是固定的，而梯度的方向为沿各维度/坐标轴的正向，因此梯度和微分向量之间的夹角为0，$\cos\theta=1$，梯度方向是函数上升最快的方向

• 若选择和梯度相同方向的向量，则该向量与上述微分向量的内积为为两向量模乘积，根据柯西不等式，可知该情况可使函数上升最快
• 若选择和梯度不同方向的向量，则该向量与上述微分向量的内积为两向量模乘积再乘以一个$\cos\theta$，其必然小于等于沿梯度的变化率（如果和梯度垂直，则$\cos\theta$取0，即不发生任何变化，与梯度反向，则$\cos\theta$取-1，即下降速度最快）

Pasted image 20240212151830.png#pic_center ❓为什么梯度方向和函数等高线的切线垂直？ 👉以$f(x,y)$为例，设该函数上的某条等高线为$f(x,y)=c$ ，则其上一点$(x_0,y_0)$ 的切线斜率为：

上面公式由多元隐函数求导得出：

因此法线斜率为：

梯度的表达式易知为：

因此梯度的斜率为：

由此可知梯度的斜率与法线斜率一致，因此梯度与等高线的切线垂直 💁此外，等高线越密的地方，梯度的模越大，越稀疏的地方，梯度的模越小 这个结论比较好理解，如果固定步长，那么梯度的模越大，则函数值变化越大，即会跨越更多条等高线，反之则跨越较少条等高线