2.3 导数公式

sigmoid函数的导数是：

双曲正切函数tanh的导数是：

校正线性单元ReLU的导数是：

如果x = (x1, x2, …, xn)T，那么逐元向量函数的导数是：

如果X = (xij)m×n，那么逐元矩阵函数的导数是：

如果a、b、c和x是n维向量，A、B、C和X是n阶矩阵，那么

如果用Tr(·)表示矩阵的迹函数（即计算矩阵的对角元素之和），那么不难得到：

如果U = F(X)是关于X的矩阵值函数且g(U)是关于U的实值函数，那么下面的链式法则成立：

此外，关于矩阵迹函数Tr(·)还有如下偏导公式