sayounara...

2004年最後の日。情况は最悪なものへと急変。
60の15回で実験してみたところ、結果は悪くなった。(微妙に例外有り)
学習強度が高ければ良いものではないらしい。
random時の結果を見るに、強く学習しているため、他の状態への遷移が殆ど起きなくなってしまっているようだ。そして、最後に記憶した物(つまり各ニューロンがその文字を記憶している)が周期的に出現している感じ。
50の100回の時は、random値を大きくするにしたがって最後に記憶した状態から色々な状態に変化していったが、今回は強く学習しているため、外部入力への対性がかなり強くなっているようだ。
どうしよう。。
...
どうにかしなければならない。出来ない気がするけど。可能性みたいな。

• 結合荷重は、学習回数に依存している(と思う)。相互の結合荷重の比はそれほど変化しないが、値は大きく(小さく)なり続けるはず。それならば、randomに入力する値が、0-1で変わらないのでは、相対的にその外部入力の効果が変化してしまうのではないだろうか?今回の場合効果が小さくなっている可能性が有る気がする。
• そもそも学習強度の大きさを大きくするのではなく、(強度測定において)想起に失敗したパターンに於ける違うパターンへの遷移数を大きく取るようなものが良いのではないだろうか。またその想起された違うパターンの数が、実際の実験での想起数と関係が有るのではないだろうか？学習強度はそのパターンへ変化する領域の広さを表わしてはいるが、そもそもその領域へ入って行き易いかどうかが重要なのではないだろうか？
• 最後に記憶したパターンの想起数が著しく多くなってしまうのであれば、記憶終了後、各ニューロンの値をランダムに設定し直してしまうのはどうだろう。結局そのランダムパターンに近いパターンが想起し続けられるだけのような気もする。
• 一番上の話と被るが、randomの最大値を上げてみるのはどうだろう。また一様乱数ではなくガウス分布乱数を加えてみるのも良いのではないだろうか? ガウス分布ならば、平均0の物だけでなく、平均+-Xのガウス分布乱数を持った、2つの山を持つ乱数等も入れてみたい。
• 外部入力を強くするという傾向を考えると、そもそも動的想起を捨てるという考え方はどうだろうか。現状Hopfieldと比べて(集束完全性は無いが)かなり多くのパターンを記憶できるのだ。この結合荷重を使い、「ランダムに値を設定→ホップフィールドで出力判定」をくり返して行けば、それなりに良い結果が得られそうな気がする。(しかしこれはそもそも方向性が違う気が)