以前 田中TOM で取り上げたゼロから作るDeep Learningに関する動画でAffineレイヤーの内積の誤差逆伝播を求める部分が省略されていたので、行列で微分する部分の説明を動画で録画してみました。

 

Deep Learning 補足動画

この動画は
Deep Learning 第7回:誤差逆伝播を用いてニューラルネットワークを実装
で出てきた、行列での微分部分の補足動画です。

この

について解説してく。

今回想定するモデル

今回はバイアス部分は除いて、単純に入力2個と次の層への出力3個で考える。

ここで

となる。

①について

まで計算しておいて

を代入すると

よって示せた。

②について

同じように

少し複雑になるが

なので、ほとんどは0になってしまう。

よって示せた。

単純な数値計算例(値は結構適当)

もし、損失関数を計算して

として値が渡ってきたとしたら、