Author Chen Lingらのチーム Link icml.cc メモ書き 影響力最大化(Influence Maximization)について 影響力最大化とは、以下を満たすを探すこと。 ここで、は影響拡散モデルであり、を感染させた時にどれぐらいその感染が広がるかを示す。要するに、個以下の…

Author Rui Xueらのチーム Link icml.cc メモ書き 長距離関係(離れた位置にあるノード同士の関係性のこと?)を捉えることによって性能向上が見られる 従来の手法では、GNNを深層化することによってこれに対処しようとしたが、グラフが大きくなるにつれて計算…

Author Haoyu Hanらのグループ Link icml.cc メモ書き GNNモデルは以下の二つのアルゴリズムからなる 特徴変換…入力特徴を低次元空間に写像するもの。学習可能なパラメタを持つ 特徴伝搬…グラフ構造を利用して情報を伝搬するもの。the message passing schem…

Author Feng Jiらのチーム Link icml.cc メモ書き Node分類において、一様分布とのWasserstein距離を用いたnon-uniformityを導入(この概念自体は前の研究で提言されていた -> [2304.03507] Distributional Signals for Node Classification in Graph Neural …

Author Jaeyun Songらのグループ Link icml.cc メモ書き ノード分類問題: の予測性能を低下させる(と、検証データから推測できる)エッジ(opponent edge)をうまく削除する方法 Exhaustive edge Group Elimination(EGE)では、悪影響のあるエッジを順に並べて、…

背景 時系列データ予測において訓練データの足りなさが問題で、データを水増しするか転移学習するかしないと予測精度が上がらない。 関連研究 自動生成した人工的な時系列データ(人工データ)を用いてモデルを事前に学習しておく転移学習を行った研究がある(…

背景 ECサイト上で顧客は各商品に付与された商品情報、特に視覚情報である画像に注目して判断する。なので、顧客のニーズをとらえた商品画像があれば売り上げが上がる。 関連研究 顧客は何らかのキーワードを属性として指定して検索し、得られた商品一覧の商…

背景 エージェントと環境の相互作用により学習を行う強化学習は、状態数の増加に伴い計算コストが増大する問題があった。それに対し自然強化学習は、目的水準を定めることで強化学習よりも簡単な弱教師あり学習を可能にしている。 先行研究 RSは上述の通り目…

背景 ECサイト上で顧客データを使って分析するのが活発化してきたけど、顧客データのみでは限界がある(例えば、競合他社へ乗り換える可能性を検出できない)ので、顧客ロイヤルティ(企業・顧客の関係性の指標)への理解が必要。しかし、ロイヤルティの理解はア…

背景 ECサイト上で顧客データを使って分析するのが活発化してきたけど、顧客データのみでは限界がある(例えば、競合他社へ乗り換える可能性を検出できない)ので、顧客ロイヤルティ(企業・顧客の関係性の指標)への理解が必要。しかし、ロイヤルティの理解はア…

○Muxuan Liu、小林一郎(お茶の水女子大学、産業技術総合研究所) ○宮尾裕介(東京大学、産業技術総合研究所) ○石垣達也、上原由衣、高村大也(産業技術総合研究所) 背景 ビジネスメールの内容から社会的立場や場面などをアノテーションするコーパスを作ったので…

○田中大智、重松祐匡、木山真人、尼崎太樹(熊本大学) 背景 自然言語生成システムの評価は人間が作成した参照文とシステムが作成した候補文を比較する形で行われる。しかし、BLEUやROUGEなどの手法は、二つの文を意味的な類似性よりも、単語の一致度に依存し…

○阿閉凛、小川祐樹(立命館大学 情報理工学部) ○高野雅典、森下壮一郎(株式会社サイバーエージェント) ○髙史明(東洋大学 社会学部) 背景 インターネットテレビによるライブ放送は、視聴者同士のチャット機能によるコミュニケーションが特徴だが、コメントによ…

○石川彰夫、春田秀一郎、黒川茂莉(KDDI総合研究所) 背景 グラフニューラルネットワークが注目されている。現実世界のグラフは時間によってその構造が変化する「動的グラフ」であるが、次の時点でリンクが生成されるか、また既存のリンクの重みが変わるかなど…

○蛭田興明、高屋英知(慶應義塾大学 大学院理工学研究科) ○栗原聡(慶應義塾大学 理工学部) 背景 大規模時系列データの解析、価値提供技術は発展途上で、最も大きな問題の一つに、計算コストが挙げられる。なので、次元削減を行うことで重要な情報を残しつつ計…

○原聡(大阪大学) ○竹内孝(京都大学) ○吉田悠一(国立情報学研究所) 背景 データ間の類似関係を階層構造で表現する階層クラスタリングには「安定性」という問題があって、例えばデータが1点削除されただけでもう階層構造が変わったりする。なのである程度デー…

○大場拓慈、長沼茂太、塩澤暁広、山下遼人(株式会社NTTデータ数理システム) 背景 時系列データをROCKETカーネルと呼ばれるもので高次元空間に特徴量を写像、その後リッジ回帰などの分類器を用いて分類するといい感じの結果が得られるが、高次元空間に写像す…

○中田喜之、吉野貴晶、杉江利章(ニッセイマネジメント株式会社) ○関口海良、大澤幸生(東京大学) 背景 市場ベータは投資家が注目する指標値の一つで、銘柄と市場との関連性を示す。よって、市場ベータの高い銘柄が物色される具合は、そのまま投資家の市場の先…

聞いた発表の要旨と感想を書きます。 ○岩澤有祐、平川雅人、松尾豊（東京大学） 背景 まず前提知識として宝くじ仮説と強い宝くじ仮説がある。 宝くじ仮説…学習済のニューラルネットワークについて、あるサブネットワークが存在し、そのサブネットワークのみ…

Here we define gcd and fast exponentiation as functions: def gcd(x, y): if y == 0: return x return gcd(y, x % y) def power(a, d, n): l = [] cur = d while cur != 0: l.append(cur % 2) cur = cur // 2 r = [] cur = a % n for i in range(len(l)):…

概要 Transformerは従来のRNNやCNNと比べて計算量を大幅に減らしたが、まだその計算量は大きいままである。ボトルネックとなっているのは、Attention layerにおける行列積の計算で、テキストサイズの2乗に比例した時間がかかっている。そこで、行列積に近似…

Exercise 3.16.1 #include <iostream> using namespace std; int main(){ string input = "VHFUHW"; for(int shift = 0; shift < 26; shift++){ cout << "shift: " << shift << " "; for (char chr : input) cout << char('A' + (chr - 'A' + step) % 26); cout << end</iostream>…

はじめに Transformerのモデル構造についての備忘録。 Transformerの論文は以下から。 arxiv.org 時間があるなら、下記リンクを読んだ方が良い(より正確で、より詳細)。 というより、この記事は下記リンクの翻訳、要約と解釈した方が正しい。 jalammar.githu…

概要 Jaegerらが提唱した単層Echo State Network(ESN)は、計算量を抑えながらうまく時系列データを扱えるモデルとして有名だが、多くの時系列が持つマルチスケール構造うまく表現することが難しいと言う欠点がある。これに対してESNを多重化する方向性でさま…

概要 交通量の予測にImproved Deep Echo State Network(IDESN)を適用する。IDESNと従来のDeep Echo State Network(DESN)との違いは以下の二点。 活性化関数の改良 circular greedy algorithmによるハイパーパラメタの最適化 さらにthe Wavelet threthold den…