この前研究がんばるとか書いときながらあんまり進んでない。。
タイトルのやつ、やってみた。
田尻 隆 ,倉田 耕治,二つの1次元SOMの結合による独立成分分析と主成分分析,2004でもあんまりうまいこといかない。。
結果はこんな感じ。
フィードフォワード抑制結合モデル
リカレント抑制結合モデル
リカレントの方はちゃんとなってるけど、フィードフォワードの方はうまいこといかない。
なんで？
まぁ原理が原理だけに第２主成分の方がちゃんと対角線を向くとは思えないんだけど。。
単なるSOMに対して同時に発火しないように抑制してるだけだし。
というかリカレントの方がうまくいってびっくり。
ただ、これでなにができるの？
音声分離でもできれば面白いけど、どうつかえばいいのかわからない。。
まともに勉強したのPCAだけだし。
これが何を表してるのかもわからない。
とりあえずPCAの観点からいくと主成分得点を各SOMの重みが表してるんだろうけど、
それがわかったら次どうすればいいんだろう？
先は長そうだ。。
[0回]
PR
この前のSOMからHMMのパラメータ学習はやめ。
バッチ学習してるらしい。ちゃんと読めよ。というか翻訳してるときに気づけよ。
やっぱ逐次学習でしょ。うん。
オフライン学習とか面白くないし。
で、強化学習へ。
どっちにしてもロボットを動かそうと思ったらまず強化学習だし。
今はBESOMとHTMの合成を考えてるわけだけど、どっちもベイジアンネット。
というわけでベイジアンネットに使える強化学習を探してみた。
山村雅幸：“Bayesian Network 上の強化学習”，第 24 回知能システムシンポジウム，. pp.61-66，(1997)
これ読みたい。でもネット上に落ちてない。論文取り寄せとかしたことない。
しかたないから
山村研究室にあった
修士論文でガマン。
これでも十分にわかる。かなりよい。
これでBESOMの強化学習の部分いけるんじゃないかな？
以前からCPTは強化学習の対象になると思ってたけど、Q-Tableで考えてた。
まさかactor-criticだとは。でも、こっちのほうがいい感じ。
すごいね、山村先生って。
[0回]
SOMを使ってHMMのパラメータを推定できるらしいよ。
とかいいつつまだ完全には理解できてないよ。
だから翻訳も怪しいよ。
COMPETING HIDDEN MARKOV MODELS ON THE SELF-ORGANIZING MAPつ
全訳HMMの学習には segmental k-means とかいうものを使ってるらしい。
音声認識の分野では音素切り出しに使う一般的な方法のようだ。
HMMの学習法ってBaum-Welchしか知らなかった。
まだまだ勉強が足りませんなぁ。。
日本語情報が少ない。
セグメンタルK平均、セグメンタルK-means、分割K平均とか色々訳されてるし。
本文によるとBaum-Welchが全体を修正するのに対して、
segmental K-meansではViterbiアルゴリズムを使って最尤系列のみ修正するらしい。
で、近傍学習もやって、うまいこといきましたよって話らしい。
しかしこれだけじゃちょっとわからん。
博士論文でも読むか、あと
これも読まなきゃダメなのかな？
なんか前の
HMM-SOMよりもいいかも。
まだ比較してないんだけど、学習データをシフトさせてBaum-Welchかけるより
segmental k-meansで少しずつ学習していったほうが学習しやすい気がする。
だってHMM-SOMの方法って、結局リカレントネットのBPTTと変わらんし。
あ、そこで
シナプス前抑制を使うわけ？
この論文って著者がその後の研究してないんだよね。
博士論文が出てるから2000年で卒業して他の研究に移ったって事だな。
こっちの人も1998年で研究テーマ変えてるし。。
もしかしてすでにこの手法はダメだってわかってるのか？
[0回]
なんで英語で書くかな？
日本人なら日本語で書けよ。
英語で書いてもいいから日本語版も出してくれよ。
本来1日で読めるはずの論文が翻訳に時間がかかって1週間もかかったじゃないか。
しかも翻訳の精度が悪いのか理解力不足なのか、６章さっぱりだし。
太田 宏之, 郡司ペギオ幸夫,
「調停プロセスとしての学習モデル」
を読むと、面白そうだったんで、
Hiroyuki Ohta, Yukio Pegio Gunji,
「
Recurrent neural network architecture with pre-synaptic inhibition for incremental learning」
これも読んでみた。
基本的にはリカレントニューラルネットにどうやって逐次学習させるかって話。
いかに既存の記憶を壊さずに学習するかについてなかなか面白い方法をとってた。
それで、
要訳＆
全訳。
6章が難しい。よくわからなかった。
affectionも途中まで影響って訳してたし。後の方でやっぱり情動のほうがいいかなってことで。
RNNに限らず、強化学習の話も出てた。
むしろこっちのほうが興味深かった。
できれば任意の時間がたっても忘れないような学習則が欲しいところだが。
でも、やっぱ英語はやだ。時間かかりすぎ。
[0回]
脳＝終脳＋小脳＋間脳＋中脳＋橋＋小脳＋延髄
だそうだ。
この本に載ってた。
大分まえに衝動買いした本。6300円。高い。
ある程度読むのに知識が要る。医学部の副読本って感じか？
それでも、結構わかりやすい。やっぱり絵が多いのがいい。
今日は今後の方針について考えてた。
やっぱ大脳皮質だけじゃなくて他の部分もいるよね。
ってことでモジュールごとに構造を変えることにした。本来のHTMは全部同じ構造なんだけど。
BESOMのｐｄｆもやっと読み終わった。
７０頁は長いよ。でもSOMによるICAっていうのは面白かった。使えそうな感じ。
でも、なんでBidirEctionalSOMなの？変なとこからアルファベット取ってるし。
他にBDSOMとかあったのかな？
というか７月論文締め切りですか。それまでに結果出るのか？
[0回]
