RGE: A Repulsive Graph Rectification for Node Classification via Influence(ICML 2023)

Author

Jaeyun Songらのグループ

Link

icml.cc

メモ書き

  • ノード分類問題:

\begin{align}
\theta^{*} &=\rm{argmin} \mathcal{L}_{Tr} (G, theta) \nonumber \\
&= \rm{argmin} \Sigma_{v \in V_{tr}} \mathcal{l}(\hat{y}, y) / N_{Tr}
\end{align}

の予測性能を低下させる(と、検証データから推測できる)エッジ(opponent edge)をうまく削除する方法

  • Exhaustive edge Group Elimination(EGE)では、悪影響のあるエッジを順に並べて、上位のものから順番に削除していたが、うまく性能が向上していなかった

  • 本研究ではその理由を、それぞれのエッジの影響度と、複数のエッジによる影響度(group influence)の間には単純な加法がなり立たないからであり、かつその「成り立たなさ」は対象のエッジの位置に依存すると説明している

  • その上で、位置的に近いエッジを削除しすぎないように工夫した削除方法(RGE)を提案

  • EGEを踏襲し影響度によってランク付けするが、エッジの削除によって影響がある(予測値が変化する)ノードを考慮し、直近に削除対象として選んだエッジと影響範囲が被らないエッジを次の削除対象として選定 負の影響力を持つエッジがなくなるまで再学習、再選定する

  • 上記の選択ルールで選択できるものが無くなった時(かつ誤差がまだ大きい時?)は従来手法通り近いエッジを削除することを許容する

  • 実験の結果、SGC Squirrelのようなgroup influenceの推定誤差が大きいものを除き多くの場合で性能が改善された

感想

  • 最初のiterationで削除したノード集合と次のiterationで削除したノード集合との間に「group influence」は存在しないのだろうか?少なくとも論文中では言及がなかったが、opponent edgeを削除するのではなく、重みを減衰させるようにすれば(そしてopponentでなければenhanceする)、最初のiterationでopponent判定されても後々敗者復活してくる可能性が残せるのではないかと思った