文档介绍
矩阵梯度朝龙目录简介实值函数相对于实向量的梯度实值函数的梯度矩阵迹函数的梯度矩阵矩阵尾声简介在信息论或者机器学习的论文中，有很多黑体矢量的微分或者积分，再加上梯度函数，简直让人眼花缭乱。于是下定决心把这些黑体的矩阵语言仔细学习一下。出来混迟早是要还的，记得在大学的时候这个矩阵语言属于三不管：数学分析和线性代数都不管，其他课程就更不管了。今天属于还债日。实值函数相对于实向量的梯度相对于向量的梯度算子记作定义为：实值函数相对于实向量的梯度因此实向量为变元的实标量函数相对于的梯度为一的列向量，定义为：梯度方向的负方向成为变元的梯度流，记为：从梯度的定义式可以看出：一个以向量为变元的变量函数的梯度为一向量。梯度的每个分量给出了变量函数在该分量方向上的变化率梯度向量最重要的性质之一是，它指出了当变元增大时函数的最大增大率。相反，梯度的负值（负梯度）指出了当变元增大时函数的最大减小率。根据这样一种性质，即可设计出求一函数极小值的迭代算法。类似地，实值函数相对于行向量的梯度为行向量，定义为：维行向量函数相对于维实向量的梯度为一矩阵定义为：若向量函数，其中是向量的标量函数，一阶梯度：是一个的矩阵，称为向量函数的矩阵。若，则欢迎访问的：实值函数相对于实向量的梯度这是一个非常有用的结论，将帮助我们导出更多非常有用的结论。例例例若和均和无关，则：例例例因为，则：例例例由于：所以梯度的第个分量为：即有：特别的如果为对称矩阵则有：归纳以上三个例子的结果以及其他结果，便得到实值函数相对于列向量的一下几个常用的梯度公式。例例例若为常数，则梯度欢迎访问的：实值函数相对于实向量的梯度例例例线性法则：若和分别是向量的实值函数，和为实常数，则：例例例乘法法则：若和都是向量的实值函数，则：例例例商法则：若，则：例例例链式法则：若是的向量值函数，则：式中为矩阵。例例例若向量与是无关的常数向量，则：欢迎访问的：实值函