時系列データに対するDeep Neural Networks

今後必要になってくるはずなのでまとめてみる.

  • Recurrent Neural Network (回帰結合ニューラルネットワーク):
    • 時系列データを扱うNN.
    • 隠れ層の出力が2種類: 次の層へつながる出力,自身につながる出力
    • Back Propagation Through Time (BPTT): 自身につながる出力を持つ隠れ層に対する学習方法
  • Long Short-Term Memory (LSTM) [1]:
    • RNNにおける勾配消失問題を解決するために特殊な隠れ層(ノード)を導入
      = 隠れ層を簡略化 -> 長期依存(Long-Term Dependencies)が可能
    • 再帰入力を受け付けるノードに対して恒等関数の活性化関数を使う
    • 再帰入力に関する重み行列を単位行列に固定
    • 時間方向の影響を単純な加算でしか与えられない
      = 補助的なゲートノード,判断ノードを導入.複数ノードの集合体を1つのメモリセルとして扱う
      = 簡略化されたノードで高い表現力
  • Connectionist Temporal Classification:
    • RNN, LSTMにおける「入力,出力の次元数が等しい」制約を解決
    • 空白ラベル’_’を導入
  • Sequence-to-sequence Learning
  1. S. Hochreiter and J. Schmidhuber, “Long Short-Term Memory.”  Neural Computation, Vol. 9, No. 8, pp. 1735-1780, 1997.
  • Keras.layers.LSTM
    • 入力ベクトルの次元数を揃える必要がある?
      −> keras.preprocessing.sequence.pad_sequencesを使ってパディングする
Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s