LDA线性判别分析.ppt
- Epiphany个人认证 |
- 2021-04-19 发布|
- 1.45 MB|
- 14页
LDA(线性判别分析);无监督学习:聚类。训练数据没有标签。K_means,PCA,随机森林;半监督学习:其训练数据的一部分是有标签的,另一部分没有标签。在很多实际问题中,只有少量的带有标记的数据,因为对数据进行标记的代价有时很高半监督分类,半监督聚类。;?降维的目的:
1.减少预测变量的个数 在人脸识别中特征提取及数据维,假设输入200*200大小的人脸图像,单单提取它的灰度值作为原始特征,则这个原始特征将达到40000维,这给后面分类器的处理将带来极大的难度。
2.确保这些变量是相互独立的 有效信息的提取综合及无用信息的摈弃。
3.提供一个框架来解释结果
;降维标准: 投影后类内方差最小,类间方差最大。我们要将数据在低维度上进行投影,投影后希望每一种类别数据的投影点尽可能的接近,而不同类别的数据的类别中心之间的距离尽可能的大。;LDA人脸识别(Fisherface);以数学公式给出投影点到到原点的距离:;类均值点投影到w上的中心为:;把散列函数展开:;展开J(w)的分子并定义SB,SB称为Between-class scatter。;上式两边同乘以;降维会不会对性能造成影响。 并不是直接对原来的数据进行删减,而是把原来的数据映射到新的一个特征空间中继续表示,所有新的特征空间如果有19维,那么这19维足以能够表示非常非常多的数据,并没有对原来的数据进行删减,只是把原来的数据映射到新的空间中进行表示,所以你的测试样本也要同样的映射到这个空间中进行表示,这样就要求你保存住这个空间坐标转换矩阵,把测试样本同样的转换到相同的坐标空间中。;得到了k个特征向量,如何匹配某人脸和数据库内人脸是否相似呢,方法是将这个人脸在k个特征向量上做投影,得到k维的列向量或者行向量,然后和已有的投影求得欧式距离,根据阈值来判断是否匹配。;1) 计算类内散度矩阵 Sw
2) 计算类间散度矩阵 Sb
3