文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：111日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. javascript - 關于css絕對定位在ios瀏覽器被橡皮筋遮擋的問題2. （python)關于如何做到按win+R再輸入文件文件名就可以運行？3. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ，會帶來哪些效率或者其他方面的好處4. Python如何播放還存在StringIO中的MP3?5. javascript - vue的element-ui(餓了嗎UI) webpack打包時externals無法分離6. javascript - 請教如何獲取百度貼吧新增的兩個加密參數7. css3 - 微信前端頁面遇到的transition過渡動畫的bug8. Python爬蟲如何爬取span和span中間的內容并分別存入字典里？9. python - 能通過CAN控制一部普通的家用轎車嗎？10. html5 - 只用CSS如何實現input框的寬度隨框里輸入的內容長短自動適應？
排行榜
網公網安備