pytorch_pretrained_bert將tensorflow模型轉(zhuǎn)化為pytorch模型

BERT倉(cāng)庫(kù)里的模型是TensorFlow版本的，需要進(jìn)行相應(yīng)的轉(zhuǎn)換才能在pytorch中使用

在Google BERT倉(cāng)庫(kù)里下載需要的模型，這里使用的是中文預(yù)訓(xùn)練模型(chinese_L-12_H-768_A_12)

下載chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

chinese_L-12_H-768_A-12.zip后解壓，里面有5個(gè)文件

bert_config.json

bert_model.ckpt.data-00000-of-00001

bert_model.ckpt.index

bert_model.ckpt.meta

vocab.txt

使用bert倉(cāng)庫(kù)里的convert_bert_original_tf_checkpoint_to_pytorch.py將此模型轉(zhuǎn)化為pytorch版本的，這里我的文件夾位置為：D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12，替換為自己的即可

python convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_model.ckpt --bert_config_file D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\bert_config.json --pytorch_dump_path D:\Work\BISHE\BERT-Dureader\data\chinese_L-12_H-768_A-12\pytorch_model.bin

注：這里讓我疑惑的是模型有5個(gè)文件，為什么轉(zhuǎn)化的時(shí)候使用的是bert_model.ckpt，而且這個(gè)文件也不存在呀，是我對(duì)TensorFlow的模型不太熟悉，查閱資料之后將5個(gè)文件的作用說明如下：

$ tree chinese_L-12_H-768_A-12/
chinese_L-12_H-768_A-12/
├── bert_config.json<- 模型配置文件
├── bert_model.ckpt.data-00000-of-00001  <- 保存斷點(diǎn)文件列表，可以用來迅速查找最近一次的斷點(diǎn)文件
├── bert_model.ckpt.index <- 為數(shù)據(jù)文件提供索引，存儲(chǔ)的核心內(nèi)容是以tensor name為鍵以BundleEntry為值的表格entries，BundleEntry主要內(nèi)容是權(quán)值的類型、形狀、偏移、校驗(yàn)和等信息。
├── bert_model.ckpt.meta  <- 是MetaGraphDef序列化的二進(jìn)制文件，保存了網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的數(shù)據(jù)，包括graph_def和saver_def等
└── vocab.txt<- 模型詞匯表文件
0 directories, 5 files

在調(diào)用模型時(shí)使用chinese_L-12_H-768_A-12\bert_model.ckpt即可。

TensorFlow 讀取ckpt文件中的tensor，將ckpt模型轉(zhuǎn)為pytorch模型

想用MobileNet V1訓(xùn)練自己的數(shù)據(jù)，發(fā)現(xiàn)pytorch沒有MobileNet V1的預(yù)訓(xùn)練權(quán)重，只好先下載TensorFlow的預(yù)訓(xùn)練權(quán)重，再轉(zhuǎn)成pytorch模型。

讀取ckpt中的Tensor名稱以及Tensor值

TensorFlow的MobileNet V1預(yù)訓(xùn)練權(quán)重文件如下：

解壓完文件后，發(fā)現(xiàn)沒有.ckpt文件，文件名只需'./my_model/mobilenet_v1_1.0_224/mobilenet_v1_1.0_224.ckpt'這樣寫就行。

寫一半發(fā)現(xiàn)Tensor名稱好難對(duì)應(yīng)起來。希望能給大家一個(gè)參考，也希望大家多多支持本站

香港快速服務(wù)器

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。