不変則批判再論
[不変則の紹介]
[不変則批判]
[不変則批判再論]
[対判定擁護]
←[パターン認識雑論]
←[中野の研究紹介]
←[中野の目次]
1 序論
不変則批判において、
安田氏によるパターン認識における不変則を批判した。
しかし、[1] を読み直してみたところ、安田氏による「仮定２．」を考察していなかった。
また、安田理論における不変則は学習方式に関する要請であって、
認識方式とは必ずしも関係するものではなかった。
しかし、不変則批判で述べたように、
安田理論は、認識方式と辞書 (学習により得られる標準パターン集合) を明確に区別しておらず、
主張に迫力が欠けるのではないかと思い至った。
これを考察に入れて再検討した結果、ニューラルネットワークに限らず、
全ての認識方式に対して不変則を満たす学習方式が存在し得ることに気付いた。
不変則が絶対守らなくてはならない規則であるかどうかは議論の余地があるが、
仮にそうだとしても、全ての認識方式で不変則を満たす学習方式が存在し得るのであるから、
ある認識方式の優劣をこの基準で判定することはできない。
2 パターン認識について
2.1 パターン認識の定義
2.2 パターン認識の構成要素
あるパターン認識方式を論ずるとき、
それが次の二つからなっていることに留意しなくてはならない。
- 認識手法 (認識アルゴリズム)
- 標準パターン (辞書)
学習とは、標準パターン（辞書）の設定方法と言い替えることができる。
誤解のないように言っておくと、標準パターンは、
整合法に限らず、任意の認識方式に存在するものであるが、
この説明は[パターン認識雑論]の中の
「標準パターンとは何か」に譲る。
2.3 パターン認識手法か辞書作成法か
安田理論は、認識手法（アルゴリズム）の良否を論ずるものではなく、
学習方法（辞書作成法）の良否を論ずるものである。
安田理論では、学習方法は不変則を満たすべき条件として要請するようである。
しかし、この理論によって、ある認識方式の優劣を論ずることはできない。
もちろん、認識方式によっては学習方式と分かちがたく結びついているものもあり、
ニューラルネットワークがその代表である。
しかし、後述するようにほとんど全ての認識方式で不変則を満たすように学習することが可能である。
したがって、不変則が守るべき要件であるとの仮定の下で、ある認識方式の優劣を論ずるには、
１．方式Ａで高い認識率を得るためには、不変則を破るように学習しなければならない
２．方式Ｂでは、同じ認識率が不変則を満たす学習で得られる
ことを示す必要があり、細部にわたって方式を吟味しなければならない。
一般論では判定できないのである。
3 不変則は本当に成立するか
3.1 安定性の妥当性
3.2 クラス固定
3.3 クラス増加
3.4 飯島のモード関数展開は不変則を満たさないか
飯島のモード関数展開とは
各クラスから選んだ代表パターンの集合について、
K--L展開により主軸を求め、これにより標準パターンを求める
方法であると理解したとする。
数字の場合、「最初から英数字を意識して辞書を作っておき、適用対象を数字に限定する」
ようにすれば、英数字に拡張しても不変則の要請を満たすことは明かである。
もっと言えば、普通は K--L展開により求めたモード関数を固有値の大きい順に少数個選ぶが、
全部のモード関数を使えば各クラスの代表パターンを標準パターンとするのと同じであり、
不変則を満たすことは自明である。
3.5 K--L展開の有効性
複合類似度など、実際に使用されている K--L展開はクラス内でのみ適用しているので、
不変則の要請を満たすことは不変則批判で述べた。
複合類似度はこのような展開に立脚して定義されており、実用上も効果があると言われている。
4 対判定について
5 ニューラルネットワークについて
5.1 ニューラルネットワークにおける相互相関について
5.2 ニューラルネットワークは不変則を満たさない
5.3 ニューラルネットワークは不変則を満たさないか
5.4 不変則を満たすニューラルネットワークの学習方式(1)
5.5 不変則を満たすニューラルネットワークの学習方式(2)
5.6 不変則を満たすニューラルネットワークの学習方式(3)
本節はつい最近 (2004年) 思いついたものである。
不変則を満たすニューラルネットワークは簡単に作ることができる。
あるパターンがクラス i に属するか否かを決めるニューラルネットワークを次のように作る。
学習セットとして、クラス i に属するサンプル集合 Aiと、
クラス i に属しないサンプル集合 Riを定める。
これらのサンプル集合は学習前に定め、学習完了後はネットワークの重み係数は変更しない。
Ai のパターンを受容し、Ri のパターンを拒否するように学習する。
この学習方式を、安田理論の仮定２．を満たすように、
クラス i について順次行えば、得られたニューラルネットワークは不変則を満たす。
つまり、数字に対して構成したニューラルネットワーク群に、
英字のそれぞれに対するニューラルネットワーク群を単純に追加するだけで、
不変則を満たしてクラス増加が可能である。
ただし、全クラスについて別々にニューラルネットワークを作るので、
素子数が増えてコストが上昇する。
もっとも、出力素子は１個 (「受理」端子) のみでよく、
隠れ層の素子数も減らせるかも知れないから、コストはそんなに増えないかも知れない。
認識率が高いかどうかも問題である。
この学習方式で得られるニューラルネットワークが高い認識性能を示すためには、
クラス i に属しないサンプル集合 Riの取り方が問題である。
数字０の場合、英字の存在を考えず、非０として１−９の数字のみを集めて学習したとき、
英字を追加した場合の認識率は (「０：ゼロ」対「Ｏ：オー」の例を取るまでもなく)
非常に悪いであろう。
数字から英数字に拡張したとき、認識率を改良するため、
非０のパターン集合 R0を変更して、数字０以外のパターンを追加すれば不変則は崩れる。
ただし、
この処置は安田理論の仮定２．を破っている。
このように考えれば、安田理論の仮定２．は不変則と同じことを言っているのにほとんど等しい。
5.7 クラス追加時の安定性の保持について
5.8 全ての認識方式での不変則の満足
前述したように、不変則とは認識方式ではなく学習方式についての要請である。
第5.6節に述べた学習方式は、ニューラルネットワークに限らず、
ほとんど全ての認識方式について実行できるであろう。
不変則批判で述べたように、
m=1 の m判定方式は不変則を満たすが、
ほとんど全ての認識方式で m=1 の m判定になるように学習できるからである。
不変則を満たした学習を行えるかどうかで、認識方式の優劣を判定するのは無意味である。
むしろ
不変則を満たした学習により得られた辞書を用いた場合、その認識方式の認識率が高いかどうか
が問題になる。
5.9 検定の組み合わせによる認識方式と不変則
対判定擁護で対判定について簡単に解説したが、
関連して対判定と検定がある。検定とは
入力パターンがあるクラスに属するか否かを、
そのクラスが具備すべき特徴を有しているか否かで判定する
処理を言う。
ある認識方式で誤りが生じたとき、
そのクラスが誤ったパターンを拒否するように検定を設けることが多い。
それは認識方式をいじると波及効果が大きいので、認識方式 (一段判定) はそのままにして、
クラスごとに定めた検定処理を追加した方が得策なのである。
少し考えればわかるように、一段判定を省略して、
最初から全てのクラスについて検定を用意しておけば、その組み合わせは一つの認識方式になる。
検定処理を実装することは学習に他ならない。
この処理は (理論上は) 他クラスを顧慮せずに作ることができ、不変則を満たす。
6 結論
6.1 再反論のまとめ
不変則は学習が満たすべき要請である。
ほとんど全ての認識方式について、不変則を満たすように学習することは可能である。
したがって、認識方式の優劣を不変則の観点から論ずることはできない。
参考文献
[1] 安田道夫,パターン認識における不変則, (京都大学数理解析研究所, Nov. 1996):
概要を不変則の紹介に示す。
[不変則の紹介]
[不変則批判]
[不変則批判再論]
[対判定擁護]
←[パターン認識雑論]
←[中野の研究紹介]
←[中野の目次]
| mail address: |
 |
← お手数ですが打ち込んで下さい |
First Written June 21, 2004
Transplanted to So-net May 3, 2005
Last Update April 22, 2007
© Yasuaki Nakano 2004-2007