要旨 Winnyの作者、金子勇が提案した(そしてrejectされたらしい)誤差拡散法(Error Diffusion algorithm, ED法)を理解する。 web.archive.org 今更ではなくない？ ブログに公開されたのは1999年だから今更ではあるよ。 では解説する。 概要 ED法ではNNにおけ…
趣旨 ハミルトニアンモンテカルロ法(HMC)を理解する(執筆当時ではまだ理解できてないけど)。 注意 物理ど素人なので完全には理解できてない。情報の正確性には注意。 理解してないなら「理解する」とか書くなよ うるせーよ では解説する。 HMCとは Metropoli…
趣旨 MCMCの一つであるギブスサンプリングを理解する。 MCMCって？ 前の記事を参考にしてください。 usapyoi.hatenablog.com では解説する。 ギブスサンプリングとは MCMCの一つで、Metropolis-Hastingsアルゴリズムの特殊な例と言える。 問題設定 今、区間…
趣旨 MCMC(マルコフ連鎖モンテカルロ)の理解を目的に、基本的なMetropolis-Hastingsアルゴリズムをまとめる。 なぜMCMC? 名前が可愛いから 情報学徒として当然だよね。 では解説する。 MCMCとは サンプリングを行うアルゴリズムの群。MCMCという特定のアルゴ…
趣旨 変分ベイズを理解する。 なぜ変分ベイズを? この前EMアルゴリズムを解説した。 usapyoi.hatenablog.com じゃあ次は変分ベイズだね。 変分ベイズはEMより圧倒的に数式を追うのが難しいので頑張りましょう。 表記法 : 観測変数(即ち入力) : 潜在変数 モデ…
趣旨 前回紹介したEMアルゴリズムを用いて超有名なグラフ混合分布(GMM)を解く。煩雑な計算については極力述べず、統計的な観点から重要な点だけおさえる。 usapyoi.hatenablog.com なんで今更? うるさいなぁ理解を深めるため。 では解説する。 表記法 1. 入…
趣旨 EMアルゴリズムを理解する。 なぜEMアルゴリズム? なんか名前がかっこいいから機械学習を学ぶ人間として当然だから。 他にも解説記事いっぱいあるけど? 表記揺れ、定義の揺れが酷すぎて比較しづらい。例えば後述のEステップについて揺れがある。 では解…
地味に役立つPythonライブラリを紹介(随時追加予定)。派手に役立つもの(numpyとか)はいちいち紹介しない。 ydata_profiling docs.profiling.ydata.ai DataFrameの特徴をサクッと可視化するライブラリ。欠損値とか統計量とか散布図とかはこれで表現できるので…
Author Chen Lingらのチーム Link icml.cc メモ書き 影響力最大化(Influence Maximization)について 影響力最大化とは、以下を満たすを探すこと。 ここで、は影響拡散モデルであり、を感染させた時にどれぐらいその感染が広がるかを示す。要するに、個以下の…
Author Rui Xueらのチーム Link icml.cc メモ書き 長距離関係(離れた位置にあるノード同士の関係性のこと?)を捉えることによって性能向上が見られる 従来の手法では、GNNを深層化することによってこれに対処しようとしたが、グラフが大きくなるにつれて計算…
Author Haoyu Hanらのグループ Link icml.cc メモ書き GNNモデルは以下の二つのアルゴリズムからなる 特徴変換…入力特徴を低次元空間に写像するもの。学習可能なパラメタを持つ 特徴伝搬…グラフ構造を利用して情報を伝搬するもの。the message passing schem…
Author Feng Jiらのチーム Link icml.cc メモ書き Node分類において、一様分布とのWasserstein距離を用いたnon-uniformityを導入(この概念自体は前の研究で提言されていた -> [2304.03507] Distributional Signals for Node Classification in Graph Neural …
Author Jaeyun Songらのグループ Link icml.cc メモ書き ノード分類問題: の予測性能を低下させる(と、検証データから推測できる)エッジ(opponent edge)をうまく削除する方法 Exhaustive edge Group Elimination(EGE)では、悪影響のあるエッジを順に並べて、…
背景 時系列データ予測において訓練データの足りなさが問題で、データを水増しするか転移学習するかしないと予測精度が上がらない。 関連研究 自動生成した人工的な時系列データ(人工データ)を用いてモデルを事前に学習しておく転移学習を行った研究がある(…
背景 ECサイト上で顧客は各商品に付与された商品情報、特に視覚情報である画像に注目して判断する。なので、顧客のニーズをとらえた商品画像があれば売り上げが上がる。 関連研究 顧客は何らかのキーワードを属性として指定して検索し、得られた商品一覧の商…
背景 エージェントと環境の相互作用により学習を行う強化学習は、状態数の増加に伴い計算コストが増大する問題があった。それに対し自然強化学習は、目的水準を定めることで強化学習よりも簡単な弱教師あり学習を可能にしている。 先行研究 RSは上述の通り目…
背景 ECサイト上で顧客データを使って分析するのが活発化してきたけど、顧客データのみでは限界がある(例えば、競合他社へ乗り換える可能性を検出できない)ので、顧客ロイヤルティ(企業・顧客の関係性の指標)への理解が必要。しかし、ロイヤルティの理解はア…
背景 ECサイト上で顧客データを使って分析するのが活発化してきたけど、顧客データのみでは限界がある(例えば、競合他社へ乗り換える可能性を検出できない)ので、顧客ロイヤルティ(企業・顧客の関係性の指標)への理解が必要。しかし、ロイヤルティの理解はア…
○Muxuan Liu、小林一郎(お茶の水女子大学、産業技術総合研究所) ○宮尾裕介(東京大学、産業技術総合研究所) ○石垣達也、上原由衣、高村大也(産業技術総合研究所) 背景 ビジネスメールの内容から社会的立場や場面などをアノテーションするコーパスを作ったので…
○田中大智、重松祐匡、木山真人、尼崎太樹(熊本大学) 背景 自然言語生成システムの評価は人間が作成した参照文とシステムが作成した候補文を比較する形で行われる。しかし、BLEUやROUGEなどの手法は、二つの文を意味的な類似性よりも、単語の一致度に依存し…
○阿閉凛、小川祐樹(立命館大学 情報理工学部) ○高野雅典、森下壮一郎(株式会社サイバーエージェント) ○髙史明(東洋大学 社会学部) 背景 インターネットテレビによるライブ放送は、視聴者同士のチャット機能によるコミュニケーションが特徴だが、コメントによ…
○石川彰夫、春田秀一郎、黒川茂莉(KDDI総合研究所) 背景 グラフニューラルネットワークが注目されている。現実世界のグラフは時間によってその構造が変化する「動的グラフ」であるが、次の時点でリンクが生成されるか、また既存のリンクの重みが変わるかなど…
○蛭田興明、高屋英知(慶應義塾大学 大学院理工学研究科) ○栗原聡(慶應義塾大学 理工学部) 背景 大規模時系列データの解析、価値提供技術は発展途上で、最も大きな問題の一つに、計算コストが挙げられる。なので、次元削減を行うことで重要な情報を残しつつ計…
○原聡(大阪大学) ○竹内孝(京都大学) ○吉田悠一(国立情報学研究所) 背景 データ間の類似関係を階層構造で表現する階層クラスタリングには「安定性」という問題があって、例えばデータが1点削除されただけでもう階層構造が変わったりする。なのである程度デー…
○大場拓慈、長沼茂太、塩澤暁広、山下遼人(株式会社NTTデータ数理システム) 背景 時系列データをROCKETカーネルと呼ばれるもので高次元空間に特徴量を写像、その後リッジ回帰などの分類器を用いて分類するといい感じの結果が得られるが、高次元空間に写像す…
○中田喜之、吉野貴晶、杉江利章(ニッセイマネジメント株式会社) ○関口海良、大澤幸生(東京大学) 背景 市場ベータは投資家が注目する指標値の一つで、銘柄と市場との関連性を示す。よって、市場ベータの高い銘柄が物色される具合は、そのまま投資家の市場の先…
聞いた発表の要旨と感想を書きます。 ○岩澤有祐、平川雅人、松尾豊（東京大学） 背景 まず前提知識として宝くじ仮説と強い宝くじ仮説がある。 宝くじ仮説…学習済のニューラルネットワークについて、あるサブネットワークが存在し、そのサブネットワークのみ…
Here we define gcd and fast exponentiation as functions: def gcd(x, y): if y == 0: return x return gcd(y, x % y) def power(a, d, n): l = [] cur = d while cur != 0: l.append(cur % 2) cur = cur // 2 r = [] cur = a % n for i in range(len(l)):…
概要 Transformerは従来のRNNやCNNと比べて計算量を大幅に減らしたが、まだその計算量は大きいままである。ボトルネックとなっているのは、Attention layerにおける行列積の計算で、テキストサイズの2乗に比例した時間がかかっている。そこで、行列積に近似…
Exercise 3.16.1 #include <iostream> using namespace std; int main(){ string input = "VHFUHW"; for(int shift = 0; shift < 26; shift++){ cout << "shift: " << shift << " "; for (char chr : input) cout << char('A' + (chr - 'A' + step) % 26); cout << end</iostream>…
