最近需要訓(xùn)練一個(gè)模型，在優(yōu)化模型時(shí)用了dropout函數(shù)，為了減少過擬合。

訓(xùn)練的時(shí)候用dropout，測(cè)試的時(shí)候不用dropout。剛開始以為p是保留神經(jīng)元的比率，訓(xùn)練設(shè)置0.5，測(cè)試設(shè)置1，loss根本沒減小過，全設(shè)置成1也是一樣的效果，后來就考慮到是不是p設(shè)置錯(cuò)了。

上網(wǎng)一搜，果然是的?。?！p的含義理解錯(cuò)了！不是保留的，而是不保留的！

具體的代碼為：

x2 = F.dropout(x1, p)

x1是上一層網(wǎng)絡(luò)的輸出，p是需要?jiǎng)h除的神經(jīng)元的比例。

當(dāng)p=0時(shí)，保留全部神經(jīng)元更新。當(dāng)p=1時(shí)，神經(jīng)元輸出的值都為0。

補(bǔ)充：Pytorch--Dropout筆記

dropout常常用于抑制過擬合，pytorch也提供了很方便的函數(shù)。但是經(jīng)常不知道dropout的參數(shù)p是什么意思。

在TensorFlow中p叫做keep_prob,就一直以為pytorch中的p應(yīng)該就是保留節(jié)點(diǎn)數(shù)的比例，但是實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)反了，實(shí)際上表示的是不保留節(jié)點(diǎn)數(shù)的比例。

看下面的例子：

a = torch.randn(10,1)
>>> tensor([[ 0.0684],
  [-0.2395],
  [ 0.0785],
  [-0.3815],
  [-0.6080],
  [-0.1690],
  [ 1.0285],
  [ 1.1213],
  [ 0.5261],
  [ 1.1664]])

p=0.5

torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],  
  [-0.0000],  
  [ 0.0000],  
  [-0.7631],  
  [-0.0000],  
  [-0.0000],  
  [ 0.0000],  
  [ 0.0000],  
  [ 1.0521],  
  [ 2.3328]]) 

p=0

torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
  [-0.2395],
  [ 0.0785],
  [-0.3815],
  [-0.6080],
  [-0.1690],
  [ 1.0285],
  [ 1.1213],
  [ 0.5261],
  [ 1.1664]]) 

p=1

torch.nn.Dropout(0)(a)
>>> tensor([[0.],  
  [-0.], 
  [0.],  
  [-0.], 
  [-0.], 
  [-0.], 
  [0.],  
  [0.],  
  [0.],  
  [0.]]) 

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持本站。

海外服務(wù)器租用

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。