要旨 Winnyの作者、金子勇が提案した(そしてrejectされたらしい)誤差拡散法(Error Diffusion algorithm, ED法)を理解する。 web.archive.org 今更ではなくない？ ブログに公開されたのは1999年だから今更ではあるよ。 では解説する。 概要 ED法ではNNにおけ…

趣旨 ハミルトニアンモンテカルロ法(HMC)を理解する(執筆当時ではまだ理解できてないけど)。 注意 物理ど素人なので完全には理解できてない。情報の正確性には注意。 理解してないなら「理解する」とか書くなよ うるせーよ では解説する。 HMCとは Metropoli…

趣旨 MCMCの一つであるギブスサンプリングを理解する。 MCMCって？ 前の記事を参考にしてください。 usapyoi.hatenablog.com では解説する。 ギブスサンプリングとは MCMCの一つで、Metropolis-Hastingsアルゴリズムの特殊な例と言える。 問題設定 今、区間…

趣旨 MCMC(マルコフ連鎖モンテカルロ)の理解を目的に、基本的なMetropolis-Hastingsアルゴリズムをまとめる。 なぜMCMC? 名前が可愛いから 情報学徒として当然だよね。 では解説する。 MCMCとは サンプリングを行うアルゴリズムの群。MCMCという特定のアルゴ…

趣旨 変分ベイズを理解する。 なぜ変分ベイズを? この前EMアルゴリズムを解説した。 usapyoi.hatenablog.com じゃあ次は変分ベイズだね。 変分ベイズはEMより圧倒的に数式を追うのが難しいので頑張りましょう。 表記法 : 観測変数(即ち入力) : 潜在変数 モデ…

趣旨 前回紹介したEMアルゴリズムを用いて超有名なグラフ混合分布(GMM)を解く。煩雑な計算については極力述べず、統計的な観点から重要な点だけおさえる。 usapyoi.hatenablog.com なんで今更? うるさいなぁ理解を深めるため。 では解説する。 表記法 1. 入…

趣旨 EMアルゴリズムを理解する。 なぜEMアルゴリズム? なんか名前がかっこいいから機械学習を学ぶ人間として当然だから。 他にも解説記事いっぱいあるけど? 表記揺れ、定義の揺れが酷すぎて比較しづらい。例えば後述のEステップについて揺れがある。 では解…

地味に役立つPythonライブラリを紹介(随時追加予定)。派手に役立つもの(numpyとか)はいちいち紹介しない。 ydata_profiling docs.profiling.ydata.ai DataFrameの特徴をサクッと可視化するライブラリ。欠損値とか統計量とか散布図とかはこれで表現できるので…