第1个回答 2022-06-03
设 ，于是关于 的jocobian矩阵 定义为
设 ，则关于 的Hessian矩阵 定义为
如果 具有二阶连续偏导数，则二阶偏导数分母可交换，即 ，这意味着Hessian矩阵此时是一个对称阵。
考虑 的梯度
于是其Jacobian矩阵
显然这是关于 的Hessian矩阵，记为 。█
函数 在 的方向导数 ，其中 是 的方向余弦向量，其中 ，假若将 归一化，即成为单位向量，令 ，于是 。此外设 是关于 的Hessian矩阵。
因为 是单位向量，于是 在 方向的一阶导数是
于是二阶导数为
这个结果是一个二次型的形式，我们可以写成 ，即 。█
从证明中可以看出 。特别要注意 ，后者是拉普拉斯算子 ，运算结果是一个标量。
其证明是，
现在已知在单位向量 方向的二阶导数是 ，如果 是 的特征向量，那么 ，即此时方向的二阶导数就是对应的特征值。█
现在假定 是一个实对称矩阵，则根据相关定理，实对称矩阵一定能够进行正交分解，即它的特征向量互相正交，我们取它的一组单位特征向量 构成 列空间的一组标准正交基，对于任意一个单位方向向量 ，设它在这组基下的坐标为 ，于是 ，从而在这个方向的二阶导数是
因为是相互正交的基，所以 ，于是 ，即其它方向的二阶导数是所有特征值的加权平均数，加权系数向量是 ，这些权重位于0和1之间。为此我们考虑在二维平面上的直角坐标系，向量 是单位向量，则所有这些单位向量的集合是一个单位圆，构成对等关系。显然单位圆上任意点的向量都可以进行正交分解，并且在x、y轴上的投影范围是 ，从而系数平方的范围就是 ，推广到一般向量，就是一个单位超球上的点在各个基向量的投影坐标的平方范围是 。
此外，与 夹角越小的特征向量权重越大。为此，考虑特征向量 与 的内积：
上式第二个等号成立是因为 是一组标准正交基，因此互异内积是0，自内积是1。
另一方面， ，于是我们有 ，因此夹角越小，权重越大。这也证明了权重的平方范围
不严格的说明：由上面的讨论知，在 点处，沿任意单位向量 的二阶导数是 ，如果 是正定矩阵，则 ，换句话说沿着任意方向的二阶导数都是正的，即该点在任意方向的切片图像上都是极小值点，所以它也是函数的极小值点。对于负定矩阵同理。
当 是不定矩阵时， 有正有负，这意味着某方向切片图像中该点是极大值，而另一方向的切片图像，该点是极小值，因此这个点不是函数的极值点。█
这一点对于判定二元函数的Hessian矩阵的正定性很有用（前提是二元函数是有连续二阶偏导数，即Hessian矩阵是对称阵）