簡(jiǎn)單爬蟲(chóng)可以劃分為get、post格式。其中，get是單方面的獲取資源，而post存在交互，如翻譯中需要文字輸入。本文主要描述簡(jiǎn)單的get爬蟲(chóng)。

環(huán)境準(zhǔn)備

安裝第三方庫(kù)

pip install requests
pip install bs4
pip install lxml

進(jìn)行爬蟲(chóng)

1.獲取網(wǎng)頁(yè)數(shù)據(jù)。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬蟲(chóng)CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲(chóng)csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析網(wǎng)頁(yè)數(shù)據(jù)

soup = BeautifulSoup(response.text, 'lxml')

3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進(jìn)入開(kāi)發(fā)者模式，后查看目標(biāo)在html中的位置，右擊選擇“復(fù)制selector”，見(jiàn)下圖。

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗數(shù)據(jù)

result = {}
for i, item in enumerate(data):
  result.update({
f'title_{i}': item.get_text(),
f'url_{i}': item.get('href')
  })
 print(result)

參考

鏈接:https://www.jb51.net/article/152560.htm

總結(jié)

本篇文章就到這里了，希望能夠給你帶來(lái)幫助，也希望您能夠多多關(guān)注本站的更多內(nèi)容！

版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。