Autodifferentiation 自动求导

这一节请参考 chainrule

这里补充介绍一些内容

我们将利用计算图自动计算任意 python 函数的导数。

自动求导的诀窍在于实现每个独立函数的导数,然后利用链式法则计算任意 Scalar 的导数。

一定要重点阅读其中关于 ChainRule 的部分。