如何通過(guò)scrapd將爬蟲(chóng)程序部署在windows系統(tǒng)服務(wù)器上
【小編提示】本文內(nèi)容源于互聯(lián)網(wǎng)收集整理，不代表YINGSOO觀點(diǎn)！若有咨詢“如何通過(guò)scrapd將爬蟲(chóng)程序部署在windows系統(tǒng)服務(wù)器上”等有關(guān)服務(wù)器、云主機(jī)租用、托管、配置、價(jià)格問(wèn)題，請(qǐng)立即咨詢YINGSOO客服，簡(jiǎn)單、便捷、高效！
【主機(jī)試用】韓國(guó)高防服務(wù)器特價(jià) | 荷蘭云服務(wù)器特價(jià) | 美國(guó)顯卡服務(wù)器特價(jià)
【知識(shí)拓展】香港高防服務(wù)器如何選？香港高防服務(wù)器租用選哪家？
通過(guò)scrapyd來(lái)部署爬蟲(chóng)程序是目前主要的爬蟲(chóng)部署方式，下面我們來(lái)看看如何通過(guò)scrapd將爬蟲(chóng)程序部署在windows系統(tǒng)服務(wù)器上。
首先在虛擬環(huán)境下安裝兩個(gè)包：
pipinstallscrapyd==1.1.1pipinstallscrapyd-client
安裝 scrapyd 時(shí)請(qǐng)指定安裝1.1.1 版本不然后面會(huì)出錯(cuò)，具體原因不明。另外為了以后能更方便啟虛擬環(huán)境你可以按以下方法建一個(gè)批處理文件 xxx.bat，以后要想在哪個(gè)目錄下啟動(dòng)虛擬環(huán)境雙擊這個(gè)文件就行了：
@echooffcmd/k你的虛擬環(huán)境絕對(duì)路徑\scripts\activate
然后在虛擬環(huán)境下啟動(dòng) scrapyd 服務(wù)
這個(gè)時(shí)候?yàn)g覽器訪問(wèn)：
localhost:6800
然后我們部署爬蟲(chóng)項(xiàng)目
先將項(xiàng)目中的 scrapy.cfg 修改：
去掉url前的 #
在deploy后面添加冒號(hào)以及任意名稱
然后在項(xiàng)目文件目錄下啟動(dòng)虛擬環(huán)境，運(yùn)行：
pythonscrapyd-deploydeploy名稱-p項(xiàng)目名稱-v設(shè)定版本python你的虛擬環(huán)境絕對(duì)路徑\scripts\scrapyd-deployhello-pscrapy_project
我們要啟動(dòng)爬蟲(chóng)要用到 curl 命令，還要到網(wǎng)上安裝下 curl ：
解壓文件后將i386 文件夾下的 cURL.eXe 移動(dòng)到：
c:\windows\system32
然后你就可以在任意位置使用 curl命令。
啟動(dòng)爬蟲(chóng)：
curlhttp://localhost:6800/schedule.json-dproject=項(xiàng)目名稱-dspider=爬蟲(chóng)名稱curlhttp://localhost:6800/schedule.json-dproject=scrapy_project-dspider=quotes
點(diǎn)擊localhost:6800頁(yè)面的 Jobs 查看運(yùn)行狀態(tài)，以及日志文件。
運(yùn)行中：
完成狀態(tài)：
另外保存的數(shù)據(jù)文件位于你啟動(dòng) scrapyd 的那個(gè)目錄下面。
在本地實(shí)踐好后，如果你有云服務(wù)器也可以安裝這樣的方法部署，然后再防火墻中添加入站規(guī)則即可：
以后就可以遠(yuǎn)程控制爬蟲(chóng)的啟動(dòng)。
獲取項(xiàng)目列表http://127.0.0.1:6800/listprojects.json獲取scrapy_project項(xiàng)目下的爬蟲(chóng)列表http://127.0.0.1:6800/listspiders.json?project=scrapy_project獲取scrapy_project項(xiàng)目下已發(fā)布的爬蟲(chóng)版本列表http://127.0.0.1:6800/listversions.json?project=scrapy_project獲取爬蟲(chóng)運(yùn)行狀態(tài)http://127.0.0.1:6800/listjobs.json?project=scrapy_project
以下均為post 方式
啟動(dòng)爬蟲(chóng)
http://localhost:6800/schedule.json,data={"project":myproject,"spider":myspider}
取消爬蟲(chóng)運(yùn)行
http://localhost:6800/cancel.json，data={"project":"myproject","job":"6487ec79947edab326d6db28a2d86511e8247444"
刪除版本
http://localhost:6800/delversion.json,data={"project":"myproject","version":"r99"}
刪除項(xiàng)目
http://127.0.0.1:6800/delproject.json,data={"project":myproject}
優(yōu)惠產(chǎn)品：美國(guó)服務(wù)器租用去首頁(yè)參與活動(dòng)！YINGSOO推出PHA挖礦服務(wù)器、PHA挖礦教程、Chia奇亞服務(wù)器、Swarm物理節(jié)點(diǎn)服務(wù)器、Swarm母雞服務(wù)器、Swarm云節(jié)點(diǎn)服務(wù)器、《Phala PHA挖礦資料大全》、《swarm bzz挖礦資料大全》,Swarm Bee節(jié)點(diǎn)租用請(qǐng)咨詢YINGSOO客服！
版權(quán)聲明：本站文章來(lái)源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請(qǐng)保持原文完整并注明來(lái)源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來(lái)源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來(lái)，僅供學(xué)習(xí)參考，不代表本站立場(chǎng)，如有內(nèi)容涉嫌侵權(quán)，請(qǐng)聯(lián)系alex-e#qq.com處理。
關(guān)注官方微信