はじめに Transformerのモデル構造についての備忘録。 Transformerの論文は以下から。 arxiv.org 時間があるなら、下記リンクを読んだ方が良い(より正確で、より詳細)。 というより、この記事は下記リンクの翻訳、要約と解釈した方が正しい。 jalammar.githu…

概要 Jaegerらが提唱した単層Echo State Network(ESN)は、計算量を抑えながらうまく時系列データを扱えるモデルとして有名だが、多くの時系列が持つマルチスケール構造うまく表現することが難しいと言う欠点がある。これに対してESNを多重化する方向性でさま…

概要 交通量の予測にImproved Deep Echo State Network(IDESN)を適用する。IDESNと従来のDeep Echo State Network(DESN)との違いは以下の二点。 活性化関数の改良 circular greedy algorithmによるハイパーパラメタの最適化 さらにthe Wavelet threthold den…