○石川彰夫、春田秀一郎、黒川茂莉(KDDI総合研究所)
背景
グラフニューラルネットワークが注目されている。現実世界のグラフは時間によってその構造が変化する「動的グラフ」であるが、次の時点でリンクが生成されるか、また既存のリンクの重みが変わるかなどの「リンク予測」タスクについて、まだまだ発展途上らしい。本研究では、グラフ構造が変化しない「静的グラフ」についての学習方法であるグラフ自己符号化器(GAE)を、動的グラフに適用することを考える。具体的には、GAEを、動的グラフのうち時間変化によらない静的な部分のエンべディングに用い、時間変化による動的な部分とは段階的に分けて処理することで、リンク予測を行う。
提案手法
まずGAEを事前学習させる。で、あるタイムステップでのGAEの潜在表現(隠れ層の重み)を、次のタイムステップでの潜在表現にダイレクトに反映させる。より厳密には、2層の全結合層を通して、潜在表現を更新する。なお、比較手法として、現在のグラフの様子から次のタイムステップでのグラフの様子を出力させるナイーブな方法も試した。
結果
平均適合率は提案手法が勝った。比較手法の、自己符号化器なのに入力と出力があってないチグハグさによるものかと考えられる。
Area Under Curveは比較手法が勝った。提案手法で事前学習を行なった際の、もともとの損失が響いたらしい。
今後は複数の過去グラフを参照するグラフを検討しよう。
感想
Attentionでいいのでは…？Attentionを使えば、初期状態から直前までの潜在表現がスタックされているので情報として利用はできる。問題としては、そこまで保存するべきなのか、ということ。自然言語処理と違って、トークンの数(=タイムステップの数)は膨大なものとなるから、時間が経てば経つほど予測に時間がかかりそう。だったら窓か何かで区切って、固定ステップ前までしか見ないか、データを圧縮する(重み付き平均とかで)とかが良さそうですね。
