Go語言做爬蟲狀態(tài)碼返回418的問題解決
發(fā)布日期：2022-02-04 08:47 | 文章來源：腳本之家
背景
?在使用Go語言做爬蟲時，使用http.Get(url)去獲取網(wǎng)頁內(nèi)容，狀態(tài)碼返回404，Body體為空。
原因分析
?http.Get(url)是不需要設(shè)置header屬性的http請求，比較簡單快捷，但狀態(tài)碼返回418，表明我們需要設(shè)置其header屬性，那么我們可以使用http.NewRequest，在設(shè)置其header屬性即可~
代碼部分
func main7() {
client := &http.Client{}
url := "https://movie.douban.com/top250?start=0&filter="
reqest, err := http.NewRequest("GET", url, nil)
//設(shè)置header屬性
reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
if err!=nil {
fmt.Println(err)
return
}
response, _ := client.Do(reqest)
defer response.Body.Close()
buf := make([]byte,4096)
var result string
for {
n,err:=response.Body.Read(buf)
if n == 0 {
fmt.Println("讀取網(wǎng)頁完成")
break
}
if err!=nil && err!=io.EOF {
fmt.Println("resp body err",err)
return
}
result += string(buf[:n])
//打印讀取的網(wǎng)頁
fmt.Println(result)
}
}
到此這篇關(guān)于Go語言做爬蟲狀態(tài)碼返回418的問題解決的文章就介紹到這了,更多相關(guān)Go語言爬蟲返回418內(nèi)容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持本站！
版權(quán)聲明：本站文章來源標注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學習參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。
相關(guān)文章
關(guān)注官方微信