梯度下降法
梯度下降法
Loss是最终的，你要让它最小，就要调整它下面的变量。
某个变量它变化一定的值会导致loss也变化一定的值，如果是1元也就是一维，没有方向可选，变化率也一定，但是到了多维比如二维就不是了。
对不同变量求得的各种偏导是 当前位置下 要使loss变小最快的 方向，方向很好理解，各种偏导值不一样呈现一定比例，最快的话看图，方向变一下走单位距离，z增大的幅度都不是最大（在xyz三维情况下）。
所以output和实际值y共同构造了Loss，而且Loss值本身只是反映一下差异，这个值并没有参与反向传播。
但是实际值y会，它相当于一个参数，不是变量，要知道计算偏导时，其他变量也会被当作参数，共同作用于某个变量的偏导。
比如说求词向量偏导，偏置都不会去影响它（我没记错的话），当前的权重和实际值y会。
损失函数得出的值不会参与反向传播，但是函数的形式即 如何加工output和实际值y，会影响实际值y对变量偏导的影响。
如1/2*(y^-y)^2，对y^（即output/估计值）求导得出 y^的偏导 = y^-y，这里可以体现实际值y对y^偏导的影响，即式子中的“-y”。
而y^的偏导由链式法则会影响w、b、x的偏导，所以y也以“-y”的方式影响他们。
如果是softmax后交叉熵
参考下文理解
最后更新于