中間発表が終わりました。
結局何も進んでいません。
そもそも新規性がありません。
というか新規性を求めるよりも今は既存の手法をもっと色々知りたいです。
最近訳したのは
“Ideal Parent” Structure Learning for Continuous Variable Bayesian Networksで、
訳。
あんまり面白くなかった。
というか隠れ変数の部分がちょっとわからない。
やっぱInfomationBottoleneckの方をやるべきだったかな？
基本的にベイジアンネットの隠れ変数学習をやってるんだけど、
あまりぱっとしたのがない。
というか
Improved Search for Structure Learning of Large Bayesian Networks (2007)を見ると、あまり色々やるよりも確率的選択＋勾配法でやったほうが速いっぽい。
うーむ。。。
そして浅田先生の階層型強化学習に興味の対象が移り気味。
いわゆる
この辺。
で、さらに顕著性マップいるよなーとか思ったり。HAMMARでも使われてたし。
そうすると選択的注意かー。
なんだか前調べてたことに逆戻りって感じだな・・・。
[0回]
PR
しばらく放置してたらトップに広告が！
ちょうど一ヶ月たったからか。
研究はほとんど進んでない。
ベイジアンネットワークの隠れ変数を調べてたらICAに戻ったり、NMFとか気になってみたり。
というか、電子工作してぇ。。もう2年くらいやってない。
dsPICとか、PSoC、FPGA、手を出したいものが色々あるなぁ。。
というかロボット作りてぇ。。もう4年くらいやってない。
ロボット相撲とかマイクロマウス、レスコン、ROBO-ONE系のバトル等…難しいなぁ。
[0回]
ここ２〜３日は複雑ネットワークの本を読んでる。
まだまだ理解しきれてない。
他にも色々ベイジアンネットワークの構造推定だとか成長型のSOMとか。
ITじゃないネットワーク関連で四苦八苦しております。
[0回]
ＩＣＡはもしデータが非線形だった場合に対応できるものがないor計算コストが高い。
ってか非線形独立成分分析とかまだ研究途上だし。
あ、以前の2つの1次元ＳＯＭでダメなのは劣ガウスじゃないとダメって事。
そして、近いもの同士だとかなり抑制しあっちゃってまともに学習できないこと。
だと思う、多分。
というわけで、ＩＣＡをやめてベイジアンネットを先にやることに。
というより、ＢＥＳＯＭをＩＣＡなしで実装できないかな？と考える。
そもそもＢＥＳＯＭはNoisy-ORを前提にしてる。
つまり親ノードに対する子ノードの確率がほとんど０で一つだけが１というもの。
このＮｏｉｓｙ-ＯＲがなければＩＣＡはいらないんじゃないか？
ベイジアンネットとして正常に働かすために確率変数を独立にするってのもあるだろうけど、
ベイジアンネットの確率変数って独立である必要あったっけ？
これは子ノードの量が多すぎるからってことで導入されてるんだけど、
ほんとうに親対子が１対１で対応していていいのだろうか？
せっかくＳＯＭを随所に使ってるんだからここでもＳＯＭ使えばいいのでは？
ってことで、１次元ＳＯＭで親子ノードの対応をあらわすことにした。
1次元ＳＯＭの各ユニットが表の行or列を表す、というわけ。
強化学習で状態行動対を学習してるけど、ＳＯＭでこれを学習するってどうするのだろうか？
むむむ、1つの子ノードの行動だけじゃなくて、いっそ全子ノードの次状態を表せばいいんじゃない？
そうすれば状態遷移表って事になって、確信伝播も使えそう。
ん？じゃあＣＰＴと結合できるんじゃない？
ってことで実装開始。
１次元ＳＯＭ、ＣＰＴ学習用競合学習、テスト用倒立振子モデルが完成。
実装途中に、あれ？これって状態遷移表がＨＭＭだったらほとんど階層型ＨＭＭじゃない？
とか思った。まぁ確率変数の出力をＳＯＭで学習してるって違いはあるけど。
で、研究室のゼミで発表してみると・・・出るわ出るわ、ボロの嵐。
そもそもＣＰＴの概念の考え直しを迫られた。
あーそうだよねー親ノードと子ノード間違えてたよーあははははｈ。
また考え直しorz
[0回]
しばらく書いてなかった。
つまり、全然進んでない。。
いまだにICA。
Blind source separation based on self-organizing neural network全訳をやろうとしたけど、なんか重み全体の逆行列を求める必要があるみたいで、
局所的に求めることができない。
だからやめた。それに線形ならこれでもいけるだろうけど、非線形だと無理な気がする。
以前書いたGTMのオンラインバージョンは
Developments of the generative topographic mappingに載っているようだ。訳す気力はないけど。
とにかくSOMのパラメータを自動で求められればいい。
ってことで
The Parameter-Less SOM algorithm全訳をやってみた。
本家にはJavaのソースとか、より詳しい論文もある。
パラメータレスとかいいながら、一つだけパラメータある。
近傍関数の分散の最大値。
でも、これをいぢるとかなり変わる。
あまり大きいと収束しない。小さすぎると広がらない。
大体ニューロン数の2倍くらいがいいのかな？
とりあえず適用。
うまく広がる。が、なぜかマカロニとか貝みたいに対角線が丸まってる。。
ちょうどこんな感じ
ついでに1次元SOM×２の方に適用すると
ずっと振動してる。
どっちも広がろうとして抑制をかけ合うせいで全く収束してくれない。。
さて、どうしようか？
[0回]
