地政学的な話はここまでにして、これはメカニクスの解釈可能性における極めて興味深い進歩です。Goodfireは損失曲率解析を用いて、記憶された構造と一般化された構造を重み空間レベルで分解し、重み編集によって記憶を抑制します。
> 記憶されたトレーニングポイントの曲率は、記憶されていないものよりもはるかに急峻であるため、重みの要素を高い曲率から低い曲率に並べることで、明示的なラベルなしでも違いがわかる。 私はずっと「スパイク特異点」について話してきましたが、彼らはこれを正式に扱っています
スレッドを読み込み中
X から元のツイートを取得し、読みやすいビューを準備しています。
通常は数秒で完了しますので、お待ちください。