- 相關推薦
貝葉斯決策
模式識別
第2章 貝葉斯決策理論與統計判別方法
武漢大學電子信息學院
1
貝葉斯決策理論
模式識別
學習指南
主要內容是說明分類識別中為什么會有錯分類, 在何種情況下會出現錯分類?錯分類的可能性會 有多大?在理論上指明了怎樣才能使錯分類最少? 不同的錯分類造成的危害是不同的,有的錯分類 種類造成的危害更大,因此控制這種錯分類則是 更重要的.為此引入了一種"風險"與"損失" 概念,希望做到使風險最小.要著重理解"風險" 與"損失"的概念,以及在引入"風險"概念后 的處理方法.
武漢大學電子信息學院
2
貝葉斯決策理論
模式識別
理解這一章的關鍵是要正確理解先驗概率, 類概率密度函數,后驗概率這三種概率, 對這三種概率的定義,相互關系要搞得清 清楚楚.Bayes公式正是體現這三者關系的 式子,要透徹掌握.
武漢大學電子信息學院
3
貝葉斯決策理論
模式識別
2.1 引 言
模式識別是一種分類(classify)問題,即根據 識別對象所呈現的觀察值,將其分到某個 類別中去.統計決策理論是處理模式分類 問題的基本理論之一,對模式分析和分類 器(classifier)的設計起指導作用.貝葉斯決 策理論是統計模式識別中的一個基本方法, 我們先討論這一決策理論,然后討論涉及 統計判別方法的一些基本問題.
武漢大學電子信息學院
4
貝葉斯決策理論
模式識別
特征向量與特征空間
例:蘋果的直徑尺寸限定在7厘米到15厘米 之間,它們的重量在3兩到8兩之間變化. 如果直徑長度x用厘米為單位,重量y以兩 為單位.那么,由x值從7到15,y值從3到8 包圍的二維空間就是對蘋果進行度量的特 征空間.
總體概率分布已知 要決策分類的類別數一定
武漢大學電子信息學院
5
貝葉斯決策理論
模式識別
貝葉斯決策理論所要討論的問題
各類別ωi=1,2,…,c的先驗概率P(ωi)及類條 件概率密度函數p(x|ωi)已知的條件下,如 何對某一樣本按其特征向量分類的問題. 幾種常用的決策規則 正態分布時統計決策的問題以及錯誤概率 等問題
武漢大學電子信息學院
6
貝葉斯決策理論
模式識別
2.2 幾種常用的決策規則
不同的決策規則反映了分類器設計者的不 同考慮,對決策結果有不同的影響.其中 最有代表性的是: 基于最小錯誤率的貝葉斯決策 基于最小風險的貝葉斯決策
武漢大學電子信息學院
7
貝葉斯決策理論
模式識別
2.2.1 基于最小錯誤率的貝葉斯決策
分類識別中為什么會有錯分類,在何種情況下會出現 錯分類?錯分類的可能性會有多大? 當某一特征向量值X只為某一類物體所特有,即
對其作出決策是容易的,也不會出什么差錯.問題在 于出現模棱兩可的情況.此時,任何決策都存在
判錯 的可能性. 條件概率 :P(*|#)是條件概率的通用符號,P(ωK|X) 是表示在X出現條件下,樣本為ωK類的概率.
武漢大學電子信息學院
8
貝葉斯決策理論
模式識別
先驗概率,后驗概率,概率密度函數
先驗概率 P(ω1) 及P(ω2)
由先驗知識在識別前就得到的概率
后驗概率 P(ω1|X) 概率密度函數 P(X|ω1) 及P(X|ω2) 聯合概率 P(X, ωi)
武漢大學電子信息學院
9
貝葉斯決策理論
模式識別
先驗概率,后驗概率,概率密度函數
Bayes(貝葉斯)公式是根據聯合概率這一概 念推出的 P(x,ωi)=P(x|ωi)P(ωi)=P(ωi|x)P(x)
貝葉斯公式實質上是通過觀察x,把狀態的 先驗概率P(i)轉化為后驗概率P(i|x)
武漢大學電子信息學院
10
貝葉斯決策理論
模式識別
圖2.1
武漢大學電子信息學院
11
貝葉斯決策理論
模式識別
圖2.2
武漢大學電子信息學院
12
貝葉斯決策理論
模式識別
基于最小錯誤率的貝葉斯決策
基于最小錯誤概率的貝葉斯決策理論就是 按后驗概率的大小作判決的 (1)后驗概率: 如果 則
武漢大學電子信息學院
13
貝葉斯決策理論
模式識別
(2)如果 則 (3)似然比: 如果 則
否則
武漢大學電子信息學院
14
貝葉斯決策理論
模式識別
(4)似然比寫成相應的負對數形式: 如果
則 否則
武漢大學電子信息學院
15
貝葉斯決策理論
模式識別
例2.1
假設在某地區切片細胞中正常(ω1)和異常 (ω2)兩類的先驗概率分別為P(ω1)=0.9, P(ω2)=0.1.現有一待識別細胞呈現出狀態 x,由其類條件概率密度分布曲線查得 p(x|ω1)=0.2,p( x|ω2)=0.4,試對細胞x 進行分類. 解:利用貝葉斯公式,分別計算出狀態為x 時ω1與ω2的后驗概率
武漢大學電子信息學院
16
貝葉斯決策理論
模式識別
P(ω1|x)=0.818>P(ω2|x)=0.0182 因此判定該細胞為正常細胞比較合理.
武漢大學電子信息學院
17
貝葉斯決策理論
模式識別
基于最小錯誤率的貝葉斯決策的證明
平均錯誤率 :在觀測值可能取值的整個范 圍內錯識率的均值
武漢大學電子信息學院
18
貝葉斯決策理論
模式識別
兩類別情況:
當P(w2|x)>p(w1|x)時決策為w2,對觀測 值x有P(w1|x)概率的錯誤率
R1:作出w1決策的所有觀測值區域,條件錯誤概率為p(w2|x) R2: 條件錯誤概率為p(w1|x).因此平均錯誤率P(e)可表示成
武漢大學電子信息學院
19
貝葉斯決策理論
模式識別
在R1區內任一個x值都有P(w2|x)
(2-9)
武漢大學電子信息學院
20
模式識別
錯誤率為圖中兩個劃線部分之和, 對應的錯誤率區域面積為最小.
武漢大學
電子信息學院
貝葉斯決策理論
21
貝葉斯決策理論
模式識別
C類別情況 :
最小錯誤率貝葉斯決策規則: 如果 則 X∈ω i (2-10) 用先驗概率與類條件概率密度相聯系的形 式,得 : 如果
武漢大學電子信息學院
22
(2-11)
貝葉斯決策理論
模式識別
計算平均正確分類概率P(c)即
(2-12)
平均錯誤率 :P(e)=1-P(c)
武漢大學電子信息學院
23
貝葉斯決策理論
模式識別
例: 應用貝葉斯決策的膚色提取
武漢大學電子信息學院
24
貝葉斯決策理論
模式識別
利用貝葉斯原理,可以建立簡單的膚色模型,并 用來從圖像中提取手部,臉部膚色,進而得到人 的身體姿勢. 1.先在一副訓練圖象中手工描繪出膚色區域, 2.然后統計每種顏色點在膚色區域中出現的次數 和在區域外出現的次數的比值,作為這種顏色是 膚色的概率
武漢大學電子信息學院
25
貝葉斯決策理論
模式識別
3.這樣就得到了一張查找表,表中的每個元 素是這個點是膚色的概率.我們就得到了一個 點是不是膚色的概率分布.以上的"顏色訓練 結果窗口"就是這樣一張表的直觀顯示.實際 表格是三維的(HSI顏色空間,32×32×8)把這 個條形區域分成八塊以后,每一塊是個32×32 的正方形,表示HS空間下的概率分布,顏色越 亮,說明這種顏色是膚色的概率越大. 4.再加上域值限制之后,認為只有概率大于 一定域值的才是膚色.
武漢大學電子信息學院
26
貝葉斯決策理論
模式識別
2.2.2基于最小風險的貝葉斯決策
使錯誤率最小并不一定是一個普遍適用的最佳選擇. 一個與損失有關聯的,更為廣泛的概念——風險
(2-13) 觀測樣本X實屬類別j,而被判為狀態i時所造成的損失, Ri則表示了觀測值X被判為i類時損失的均值 分類則依據Ri,(i=1,…,c)中的最小值,即最小風險來定.
武漢大學電子信息學院
27
貝葉斯決策理論
模式識別
例 :病理切片
ω1表示病理切片正常 ω2表示病理切片異常 P(ω1|X)與P(ω2|X)分別表示了兩種可能性的大 小 : X確實是癌細胞(ω2),但被判作正常(ω1) 損失 : X確實是正常(ω1),卻被判定為異常(ω2) 損失
武漢大學電子信息學院
28
貝葉斯決策理論
模式識別
定義:
自然狀態 :指待識別對象的類別 A={ α1,α2,……αn} 狀態空間:由所有自然狀態所組成的空間 , Ω={ω1,ω2,…,ωc} 決策 :不僅包括根據觀測值將樣本劃歸哪 一類別(狀態),還可包括其它決策,如"拒 絕"等 決策空間 :由所有決策組成的空間
武漢大學電子信息學院
29
貝葉斯決策理論
模式識別
損失函數λ(αi|ωj)(或寫成λ(αi,ωj) ) 觀測值X條件下的期望損失R(αi|X), i=1,2,…,a (2-14) Ri: 條件風險
武漢大學電子信息學院
30
貝葉斯決策理論
模式識別
最小風險貝
葉斯決策規則
如果 期望風險R 則α=αk
(2-15)
(2-16)
它表示對所有X取值所作的決策α(X)所帶 來的平均風險
武漢大學電子信息學院
31
貝葉斯決策理論
模式識別
最小風險貝葉斯決策步驟
根據貝葉斯公式計算出后驗概率 : j=1,…,x 利用計算出的后驗概率及決策表,計算出 采取αi,i=1,…,a的條件風險
j=1,…,x
找出使條件風險最小的決策αk,即
武漢大學電子信息學院
32
貝葉斯決策理論
模式識別
例2.2
P(ω1)=0.9, P(ω2)=0.1 p(X|ω1)=0.2, p(X|ω2)=0.4 λ11=0, λ12=6, λ21=1, λ22=0 后驗概率 P(ω1|X)=0.818, P(ω2|X)=0.182
武漢大學電子信息學院
33
貝葉斯決策理論
條件風險
模式識別
由于R(α1|X)>R(α2|X) 判待識別的細胞X為ω2類——異常細胞 比較例2.1 P(ω1|X)=0.818, P(ω2|X)=0.182 ,正常細胞
武漢大學電子信息學院
34
貝葉斯決策理論
模式識別
兩種決策方法之間的關系
基于最小錯誤率的決策是基于最小風險決 策的一個特例 設損失函數為
式中假定對C類只有C個決策,即不考慮 "拒絕"等其它情況,(2-17)表明,當作出 正確決策(即i=j)時沒有損失,而對于任何 錯誤決策,其損失均為1.這樣定義的損失 函數稱為0—1損失函數.
武漢大學電子信息學院
35
貝葉斯決策理論
模式識別
兩種決策方法之間的關系
根據(2-14)式條件風險為
最小錯誤率貝葉斯決策就是在0—1損失函 數條件下的最小風險貝葉斯決策
武漢大學電子信息學院
36
貝葉斯決策理論
模式識別
圖2.4
武漢大學電子信息學院
37
貝葉斯決策理論
模式識別
圖2.3 與圖2.4
武漢大學電子信息學院
38
貝葉斯決策理論
模式識別
2.2.4判別函數,決策面與分類器設計
決策域 :待識別的特征向量落在哪個決策 域,該樣本就被判為哪一類. 決策面 :決策域的邊界面 判別函數 :用于表達決策規則的某些函數
武漢大學電子信息學院
39
貝葉斯決策理論
模式識別
例 :兩類別問題按最小錯誤率作決策
相應的判別函數: gi(X)=P(ωi|X), i=1,2 決策面方程 : g1(X)=g2(X) 決策規則 如果gi(X)>gj(X) i,j=1,2 且 i≠j 則X∈ωi
武漢大學電子信息學院
40
貝葉斯決策理論
模式識別
多類別情況決策規則:
如果 則將X歸于ωi類 決策面 : 當ωi的決策域與ωj的決策域相鄰時,以下 關系決定了相應的決策面 gi(X)=gj(X)
武漢大學電子信息學院
41
貝葉斯決策理論
模式識別
圖2.5(a)表示了一個三類別問題用一維特征空 間時的所有決策邊界,而圖2.5(b)則表示了相 應的二維特征空間中的決策邊界
武漢大學電子信息學院
42
貝葉斯決策理論
模式識別
兩類別問題分類器的框圖:
武漢大學電子信息學院
43
貝葉斯決策理論
模式識別
多類別分類器的結構框圖:
武漢大學電子信息學院
44
貝葉斯決策理論
模式識別
§2.3 正態分布時的統計決策
具體的決策域劃分與樣本的概率分布有關. 下面結合正態分布概率密度函數進行討論, 在討論結束時我們會發現從中可以得到不 少啟示.
武漢大學電子信息學院
45
貝葉斯決策理論
模式識別
2.3.1正態分布概率密度函數的定義與性質
單變量正態分布
正態分布是指一個隨機實數度量值在整個實數域 上的分布規律,屬于概率密度函數類
武漢大學電子信息學院
46
貝葉斯決策理論
模式識別
多元正態分布
多元正態分布的概率密度函數:
μ是X的均值向量,d維 μ=E{X}=[μ1,μ2,…,μd]T ∑是d×d維協方差矩陣,而∑-1是∑的逆 矩陣,|∑|是∑的行列式 ∑=E{(X-μ)(X-μ)T}
武漢大學電子信息學院
47
貝葉斯決策理論
模式識別
多元正態分布的重要的特性
多元正態分布的概率密度函數中的元就是 我們前面說得特征向量的分量數,也就是 維數 . 多維向量:每一個分量都是隨機變量,服 從正態分布.http://http://www.solarmaxlimited.com/news/5587D97E021E5268.html但是一個二維隨機向量不僅 要求考慮每個分量單獨的分布,還要考慮 兩個隨機變量之間的關系 ——相關性
武漢大學電子信息學院
48
貝葉斯決策理論
模式識別
例:兩個二元正態分布
武漢大學電子信息學院
49
貝葉斯決策理論
模式識別
協方差矩陣:
用 E[x1-μ1)(x2-μ2)]來衡量這種相關性,稱 為協方差矩陣 非對角元素正表示了兩個分量之間的相關 性 主對角元素則是各分量本身的方差 協方差矩陣的重要屬性:正定的對稱矩陣
武漢大學電子信息學院
50
貝葉斯決策理論
模式識別
多元正態分布的性質
參數μ與∑對分布具有決定性,記作p(X)～ N(μ,∑). 等密度點分布在超橢球面上. 等密度點對應: (x-μ)T∑-1(x-μ)=常數
武漢大學電子信息學院
51
貝葉斯決策理論
模式識別
向量X到向量μ的Mahalanobis距離的平方 r2=(x-μ)T∑-1(x-μ) 多元正態分布的離散程度由參數|∑|1/2決定, 這與單變量時由標準差σ決定是對應一致的. 不相關性等價于獨立性. —不相關 :E[xixj]=E[xi]〃E[xj] —相關 :(xi,xj)=p(xi)p(xj),
武漢大學電子信息學院
52
貝葉斯決策理論
模式識別
邊緣分布和條件分布的正態性 多元正態分布的邊緣分布和條件分布仍然是 正態分布. 線性變換的正態性 Y=αTx,則Y的分布仍然是正態的.
武漢大學電子信息學院
53
模式識別 貝葉斯決策理論 2.3.2正態分布概率模型下的最小錯誤率貝葉斯決 策
如果 則X∈ωi 判別函數為 p(x| ωi) p(ωi) ,采用對數形 式
武漢大學電子信息學院
54
貝葉斯決策理論
模式識別
決策規則:
相應的決策面方程為
武漢大學電子信息學院
55
貝葉斯決策理論
模式識別
最小
距離分類器情況
定義:每個樣本以它到每類樣本均值的歐 氏距離的最小值確定其分類 . 如果 則 X∈ωi 樣本分布滿足以下正態分布條件時,最小 錯誤分類器與(2-39)表示的決策規則相當:
武漢大學電子信息學院
56
貝葉斯決策理論
模式識別
在這種條件下,由于|∑|=σ2d及 ∑i-1=σ2I ,代入(2-37)得
武漢大學電子信息學院
57
貝葉斯決策理論
模式識別
由于決策是根據各判別函數之間的大小,因而在 (2-48)中一些與類別無關的項可以忽略,再加上 先驗概率相等這個條件,判別函數可簡化成
最小距離分類器就可看作模板匹配.每個類有一 個典型樣本(即均值向量),稱為模板,而待分類 樣本X只要按歐氏距離計算與哪個模板最相似(歐 氏距離最短)即可作決定.
武漢大學電子信息學院
58
貝葉斯決策理論
模式識別
線性分類器
∑i=σ2I i=1,…,c
其中
武漢大學電子信息學院
59
貝葉斯決策理論
模式識別
決策面方程
利用 以及 代入(2-46)并整理,可得 WT(X-X0)=0 (2-47) W=μi-μj
武漢大學電子信息學院
60
貝葉斯決策理論
模式識別
另一種簡單情況
∑i=∑
表示在二維特征空間的情況
武漢大學電子信息學院
61
貝葉斯決策理論
模式識別
判別函數
如果c類先驗概率都相等,
其中
武漢大學電子信息學院
62
貝葉斯決策理論
模式識別
決策面方程
gi(X)-gj(X)=0 即 其中
武漢大學電子信息學院
63
貝葉斯決策理論
模式識別
線性分類器總結
在正態分布條件下,基于最小錯誤率貝葉 斯決策只要能做到兩類協方差矩陣是一樣 的,那么無論先驗概率相等不相等,都可 以用線性分界面實現. 小歐氏距離分類器則要求正態分布協方差 矩陣為單位陣,先驗概率相等.
武漢大學電子信息學院
64
貝葉斯決策理論
模式識別
各類協方差矩陣不相等的情況
∑i≠∑j i,j=1,2,…,c
(d×d矩陣) (d維列向量)
武漢大學電子信息學院
65
貝葉斯決策理論
模式識別
決策面方程(當兩個決策域毗鄰)
根據gi(X)-gj(X)=0有
武漢大學電子信息學院
66
貝葉斯決策理論
模式識別
圖2.10
武漢大學電子信息學院
67
貝葉斯決策理論
模式識別
討論與分析
分析了在何種正態分布條件下,最小錯誤 率貝葉斯決策具有線性決策面. 最小距離分類器與統計上最小錯誤率決策 上一致的條件.
武漢大學電子信息學院
68
貝葉斯決策理論
模式識別
本章小結
主要的知識: 使用什么樣的決策原則我們可以做到錯誤 率最小Bayes決策 錯分類最小并不一定是一個識別系統最重 要的指標風險,損失 學習獲得對樣本概率分布的估計
武漢大學電子信息學院
69
貝葉斯決策理論
模式識別
貝葉斯決策理論是統計模式識別
的重要理論基礎 理論上講,貝葉斯決策方法是最優的(在最小錯誤 率或最小風險意義上) 應用中:需要首先得到先驗概率和類條件概率密度 方法一: 先估計概率密度,后求解決策規則 方法二: 若已知或可假設概率密度為某種形式(比 如正態分布),可先求出判決函數形式,再從樣本 估計其中的參數. 方法三: 直接選擇或假設某種判決函數形式,用樣 本確定其參數.
武漢大學電子信息學院
70
貝葉斯決策理論
模式識別
習題
1. 試簡述先驗概率,類條件概率密度函數和 后驗概率等概念間的關系: 2. 試寫出利用先驗概率和分布密度函數計算 后驗概率的公式 3. EX2.5 4. EX2.15 5. 寫出最小錯誤率和最小風險決策規則相應 的判別函數(兩類問題). 6. 用Matlab計算兩類識別問題:根據血液中 白細胞的濃度來判斷病人是否患血液病.
武漢大學電子信息學院
71
【貝葉斯決策】相關文章：
基于貝葉斯理論的指揮引導決策研究05-02
基于參數的貝葉斯先驗選擇方法04-27
ARFIMA模型參數貝葉斯估計的漸近性質04-27
機匣包容性的貝葉斯評價方法04-27
基于貝葉斯動態模型的某器件性能預測05-01
基于貝葉斯網絡的飛機易損性評估方法04-27
基于貝葉斯粗糙集模型的屬性約簡算法04-29
Behrens-Fisher問題的信賴與貝葉斯精確區間估計04-29
基于貝葉斯網絡的人因可靠性評價04-26