2017 年の論文で、私が気に入っているものの、実際に使われているのを見たことがないトリックが紹介されていました。 同じパラメータで初期化した2つの線形層fとgを考えてみましょう。 h(x)=f(relu(x))+g(-relu(-x)) すると初期化時に h は線形になります。 1/2
論文： https:arxiv.org/abs/1702.08591
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。
François Fleuret（@francoisfleuret）のスレッド
2 件のツイート · 2025/11/07 14:18
作者情報
@meta (FAIR) 研究科学者、@Unige_en 教授、@nc_shape 共同設立者。リアリティが好きです。
2 件のツイート·Fri Nov 07 14:18:02
JA に翻訳済み