不変則の紹介

[不変則の紹介] [不変則批判] [不変則批判再論] [対判定擁護]
←[パターン認識雑論] ←[中野の研究紹介] ←[中野の目次]

「パターン認識における不変則」は、安田道夫教授 (明星大学情報学部電子情報学科) によって、 1996年11月、京都大学数理解析研究所研究会で発表されたものである。 ただし、かなり昔の電子通信学会大会 (1972年頃) で基本アイデアは提示されている。

1997年頃、あるところでこの理論が紹介され、 (電子メイルと参加者限定ウェブ上で) 議論が展開された。 そのときに作られた安田氏論文の電子テキストはあるが、 公開されたものではないので著作権の観点から紹介せず、筆者の理解したところを紹介する。
したがって、このページに誤りがあれば全責任は筆者にある。
読んで戴けばわかるように、光学的文字認識 (OCR) をパターン認識の例としてとっている。

はじめに

安田氏によるパターン認識の定義が述べられる。
パターン認識とは、 「多様な 外界の事象を、複数の既知のカテゴリ概念の何れに属するかを、 直感的に判断する機能」 と定義する。
「既知のカテゴリ概念とは、普通は人のある程度の広がりを持ったグループ、 あるいは社会で共有されている概念、すなわち記号化可能なものを指」すと定義する。 カテゴリ概念の例として、光学的文字認識の場合、各種の文字を挙げる。
以下では「カテゴリ」という用語の代わりに「クラス」と書き換えているが、 これは筆者の好みによるものであり、安田氏の原論文とは異なっている。

ここで述べるパターン認識の安定性に関する議論は、 1970年代に相関を利用する印刷文字認識手法の研究に携わっていた安田氏が、 その延長として考察したものである。

背景

広くパターン認識の分野で、不変性あるいは安定性について議論された例はきわめて少なく、 わずかな先行例も無意味なものとは考えられないが、 さらに有用なパターン認識の理論を構築するには、 異なった見地からパターン認識の性質を考察する必要がある、とする。

パターン認識結果の安定性

パターン認識系について、つぎのような性質を仮定する。 
１．クラス概念を Ci (i=1, ..., n) とし、nは十分に大きいとする
２．学習は、iについて逐次的に行われるものとする
３．認識系が、未知パターンXをクラスCiと認識することを、つぎのように表記する
　　　　ψ(X,C1,C2,．．．,Cn) ⇒ ci　　　　　　　　　　　　　(1)
ciは、クラスCiを表す記号であり、 クラス概念Ciと記号ciは一対一で対応する。 式(1)で、C1,C2,．．．,Cnは、 学習済みのクラス概念の全体である。
４．パターン認識系の認識機能は、新たなパターン概念の学習について安定である。すなわち、 
　　　　ψ(X,C1,C2,．．．,Cn)⇒ ci　　　　　　　　　　　　　　(2)
であるとすると、新たなパターン概念Cn+1を学習することによる、 未知パターンXに対するパターン認識系の認識結果は、つぎの何れかである。 
　　　　ψ(X,C1,C2,．．．,Cn,Cn+1) ⇒ ci
　　　　または　　　　　　　　　　　　　　　　　　　　　　　(3)
　　　　ψ(X,C1,C2,．．．,Cn,Cn+1) ⇒ cn+1
式(3)の性質を、パターン認識系の学習過程における安定性 と呼び、 パターン認識系が満たすべき基本的な性質であるとする。

安田氏はこの安定性が、人の通常のパターン認識でごく自然なものであると主張する。
たとえば、文字を始めて学習するさいに、まず算用数字を覚え、 ついで英字を学習する過程を踏むものとする。 安定性とは、算用数字だけ学習した段階で 0(ゼロ)と認識していた未知パターンを、 英字を併せて認識できるように学習した結果、 O(オ−)や B(ビ−)と認識するように変わることはあっても、 認識結果が同じ算用数字の 8(ハチ)に変わるようなことは起らないことを意味している、 とする。

対判定

任意の二個一対のクラス Ci,Cj( ただしi≠j) について、 未知パターンに対する識別規則 (X がどちらにより近いかを判断する) を、つぎのように書く。 
　　　　Φ(X,Ci,Cj) ⇒ ci 
　　　　または　　　⇒ cj　　　　　　　　　　　　　　　　　(4)
すべてのj (j≠i) について、式(5)が成立したとする。 
　　　　Φ(X,Ci,Cj) ⇒ ci　　　　　　　　　　　　　　　　　　　(5)
このとき、未知パターンX のクラスを ciと認識する。 このパターン認識系は、上記の学習過程における安定性を満たす。

このΦ(X,Ci,Cj)を、対判定(規則)と呼ぶ。

対判定 (規則) では、未知パターンは二つのクラスのどちらかであるかを判定する。
これに対し、通常採用される類似度法など、OCR商用機のほとんどが採用している認識手法では、 未知パターンと一つのクラスの類似度 (相違度) を用いて判定する。 このような手法は対判定規則の特別な場合であることを示している。

ある種のニューラルネットワークについて

バックプロパゲーション型のニューラルネットワークを用いた認識手法を、 安定性の見地から考察する。
そのような認識手法の一つを行列により定式化し、 その作り方から明らかに学習過程の安定性の要請を満たさない、と結論している。

結論

以上、パターン認識における不変性、 もしくは学習過程における認識結果の安定性の概念の意味について述べている。
この尺度を使うと、バックプロパゲーション型のニューラルネットワークに、 パターン認識システムとして望ましい機能を期待することは困難であることを示した、とする。

[不変則の紹介] [不変則批判] [不変則批判再論] [対判定擁護]
←[パターン認識雑論] ←[中野の研究紹介] ←[中野の目次]

mail address: ←　お手数ですが打ち込んで下さい

First Written June 19, 2004
Transplanted to So-net May 3, 2005
Last Update April 22, 2007

© Yasuaki Nakano 2004-2007