kaeken(嘉永島健司)のTech探究ブログ

６章 学習に関するテクニック 『ゼロから作るDeep Learning』 続き。 重みの初期値について。 結論として、重みの初期値をゼロにするのはNG。 重みの対照的な構造を崩し、ランダムな初期値を設定する。 勾配消失gradient vanishing：逆伝播での勾配の値が徐々に小さくなること。 多層NNでは勾配消失が問題になるので、推奨…