基于贝叶斯决策理论的分类器 .pptx

第二章基于贝叶斯决策理论的分类器ClassifiersBased on Bayes Decision Theory;§1 引言

§2 Bayes决策理论 最小错误率的贝叶斯决策 最小风险的贝叶斯决策

§3 Bayes分类器和判别函数

§4 正态分布的Bayes决策 ;§1 引言;⑵另一方面从样本的可分性来看：

当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。

当各类别之间出现混淆现象时，则分类困难。 这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。;⒉ 三个重要的概率和概率密度 先验概率、类条件概率密度函数、后验概率。

⑴先验概率 P(wi) 由样本的先验知识得到先验概率，可从训练集样本中估算出来。 例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1) = 0.2，P(w2) = 0.8。

⑵类条件概率密度函数 p(x|wi) 模式样本x在wi类条件下，出现的 概率密度分布函数。也称 p(x|wi) 为wi 关于x 的似然函数。

在本章中均假设已知上述概率和概率密度函数。;⑶后验概率P(wi|x) 定义为某个样本 x, 属于wi 类的概率, i=1,···,c 。

如果用先验概率P(wi) 来确定待分样本x的类别, 依据显然是非常不充分的，须用类条件概率密度p(x|wi)来修正。

根据样本 x 的先验概率和类条件概率密度函数p(x|wi) 用Bayes公式重新修正 模式样本所属类的概率，称 后验概率P(wi|x)。

3.用Bayes决策理论分类时要求：

①各类总体的概率分布是已知的。