データサイエンスがやりたいSEの備忘録

機械学習とかPythonに興味があります。アウトプットをどうしようか悩んでとりあえず試験的に始めてみた。

第3章:ベイズの識別規則_01

ベイズの識別規則

観測データをx、識別クラスをCi (i = 1,...,K)としたとき、事後確率が最も大きなクラスに分類する規則のこと。
事後確率は以下の公式で求めることができ、ベイズの定理と呼ばれている。
                                               クラス付き条件確率(=尤度)


   事後確率         周辺確率        事前確率

ベイズの識別規則を用いた2クラスの分類

ベイズの識別規則に沿って識別境界を定義すると、クラスCiとクラスCjの事後確率が等しくなるところといえる。

また識別クラスは下記の式で与えられる。なお、周辺確率はどちらのクラスにも共通なため、含めない。


ベイズの識別規則の例

次の表のデータを例にとって、それぞれクラス付き条件確率・同時確率・周辺確率および事後確率を求める。
☆入力データ例
f:id:fenruru:20190211222515j:plain

★事前確率と単一変数のクラス付条件確率

★複数変数のクラス付条件確率と同時確率と周辺確率

★事後確率の計算結果
事後確率 = 同時確率/周辺確率

尤度比

ベイズの識別規則による識別境界は2つのクラスの事後確率が等しくなるところで与えられる。

①事後確率 = 同時確率 × 周辺確率
②同時確率 = 事前確率 × クラス付き条件確率
③周辺確率はどちらのクラスにも共通

上記を考慮すると、事前確率とクラス付き条件確率の比率で識別クラスを決定しても良い。



※p(X|C)はクラス付条件確率、P(C)は事前確率

上記を変形してクラス付条件確率の比(尤度比)を用いてクラスを識別することもできる。
事前確率の比が尤度比よりも小さい場合はクラスCiに
事前確率の比が尤度比よりも大きい場合はクラスCjに分類される。