文章詳情頁
python - 為什么感覺 pyspider 爬取的速度好慢
瀏覽：138日期：2022-08-08 09:43:03
問題描述
為什么感覺 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因為有些網頁會 retry，不過成功率倒是比自己爬取的高多了。是不是我的使用方法不對？求解釋
問題解答
回答1：這里可以設置 web ui 控制臺上的 rate/burst 參數來調節速度，rate 是 每秒抓取的數量，burst 是并發的數量，默認是 1/3 所以比較慢，還是對這個工具了解不夠呀
回答2：我沒有用過框架來寫爬蟲，但是我在自己寫爬蟲的時候，并發寫起來，模型越復雜(如線程控制，線程狀態監控)，效率是越低的。
相關文章：
1. MySQL 使用 group by 之后然后 IFNULL(COUNT(*),0) 為什么還是會獲得 null2. wordpress里，這樣的目錄列表是屬于小工具還是啥？3. 一直報這個錯誤4. 常量在外面不加引號會報錯。5. python如何設置一個隨著系統時間變化的動態變量？6. mysql - 大部分數據沒有行溢出的text字段是否需要拆表7. mysql federated引擎無法開啟8. sublime text3安裝package control失敗9. 我的怎么不顯示啊，話說有沒有QQ群什么的10. mysql 為什么主鍵 id 和 pid 都市索引, id > 10 走索引 time > 10 不走索引?
排行榜
網公網安備