有時(shí)候使用Pytorch訓(xùn)練完模型，在測(cè)試數(shù)據(jù)上面得到的結(jié)果令人大跌眼鏡。

這個(gè)時(shí)候需要檢查一下定義的Model類(lèi)中有沒(méi)有 BN 或 Dropout 層，如果有任何一個(gè)存在

那么在測(cè)試之前需要加入一行代碼：

#model是實(shí)例化的模型對(duì)象
model = model.eval()

表示將模型轉(zhuǎn)變?yōu)閑valuation（測(cè)試）模式，這樣就可以排除BN和Dropout對(duì)測(cè)試的干擾。

因?yàn)锽N和Dropout在訓(xùn)練和測(cè)試時(shí)是不同的：

對(duì)于BN，訓(xùn)練時(shí)通常采用mini-batch，所以每一批中的mean和std大致是相同的；而測(cè)試階段往往是單個(gè)圖像的輸入，不存在mini-batch的概念。所以將model改為eval模式后，BN的參數(shù)固定，并采用之前訓(xùn)練好的全局的mean和std；

對(duì)于Dropout，訓(xùn)練階段，隱含層神經(jīng)元先乘概率P，再進(jìn)行激活；而測(cè)試階段，神經(jīng)元先激活，每個(gè)隱含層神經(jīng)元的輸出再乘概率P。

如下圖所示：

補(bǔ)充：pytorch中model.eval之后是否還需要model.train的問(wèn)題

答案是：需要的

正確的寫(xiě)法是

for循環(huán)之后再開(kāi)啟train，

循環(huán)之后的評(píng)估m(xù)odel.eval之后就會(huì)再次回到model.train

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持本站。

海外穩(wěn)定服務(wù)器

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。