實際問題

Pytorch有的時候需要對一些層的參數(shù)進行固定，這些層不進行參數(shù)的梯度更新

問題解決思路

那么從理論上來說就有兩種辦法

• 優(yōu)化器初始化的時候不包含這些不想被更新的參數(shù)，這樣他們會進行梯度回傳，但是不會被更新
• 將這些不會被更新的參數(shù)梯度歸零，或者不計算它們的梯度

思路就是利用tensor的requires_grad，每一個tensor都有自己的requires_grad成員，值只能為True和False。我們對不需要參與訓練的參數(shù)的requires_grad設置為False。

在optim參數(shù)模型參數(shù)中過濾掉requires_grad為False的參數(shù)。
還是以上面搭建的簡單網(wǎng)絡為例，我們固定第一個卷積層的參數(shù)，訓練其他層的所有參數(shù)。

代碼實現(xiàn)

class Net(nn.Module):
 def __init__(self):
  super(Net,self).__init__()
  self.conv1 = nn.Conv2d(3,32,3)
  self.conv2 = nn.Conv2d(32,24,3)
  self.prelu = nn.PReLU()
  for m in self.modules():
if isinstance(m,nn.Conv2d):
 nn.init.xavier_normal_(m.weight.data)
 nn.init.constant_(m.bias.data,0)
if isinstance(m,nn.Linear):
 m.weight.data.normal_(0.01,0,1)
 m.bias.data.zero_()
 def forward(self, input):
  out = self.conv1(input)
  out = self.conv2(out)
  out = self.prelu(out)
  return out

遍歷第一層的參數(shù)，然后為其設置requires_grad

model = Net()
for name, p in model.named_parameters():
 if name.startswith('conv1'):
  p.requires_grad = False
  
optimizer = torch.optim.Adam(filter(lambda x: x.requires_grad is not False ,model.parameters()),lr= 0.2)

為了驗證一下我們的設置是否正確，我們分別看看model中的參數(shù)的requires_grad和optim中的params_group()。

for p in model.parameters():
 print(p.requires_grad)

能看出優(yōu)化器僅僅對requires_grad為True的參數(shù)進行迭代優(yōu)化。

LAST 參考文獻

Pytorch中，動態(tài)調整學習率、不同層設置不同學習率和固定某些層訓練的方法_我的博客有點東西-CSDN博客

到此這篇關于Pytorch實現(xiàn)網(wǎng)絡部分層的固定不進行回傳更新的文章就介紹到這了,更多相關Pytorch網(wǎng)絡部分層內容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持本站！

美國快速服務器

版權聲明：本站文章來源標注為YINGSOO的內容版權均為本站所有，歡迎引用、轉載，請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務器上建立鏡像，否則將依法追究法律責任。本站部分內容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學習參考，不代表本站立場，如有內容涉嫌侵權，請聯(lián)系alex-e#qq.com處理。