文章詳情頁
python - pyspider爬pdf爬了一小段時間后就不動了
瀏覽：114日期：2022-08-06 15:07:58
問題描述
下載了一小部分之后就不動了，stop之后重新跑也沒有任何反應，有人知道是怎么回事嗎？謝謝大家。
問題解答
回答1：放代碼吧 騷年
回答2：根據 dashboard 最上方的信息
scheduler 到 fetcher 有100條隊列中的任務fetcher 到 processor 也有100條隊列中的任務processor 下游都是空的
因為默認的隊列容量為 100，這說明在 processor 發生了堵塞，那就要看 processor 在干什么，是不是死掉了。
相關文章：
1. javascript - vue的element-ui(餓了嗎UI) webpack打包時externals無法分離2. （python)關于如何做到按win+R再輸入文件文件名就可以運行？3. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ，會帶來哪些效率或者其他方面的好處4. python - 能通過CAN控制一部普通的家用轎車嗎？5. javascript - 請問 chrome 為什么會重復加載圖片資源？6. javascript - 請教如何獲取百度貼吧新增的兩個加密參數7. css3 - 微信前端頁面遇到的transition過渡動畫的bug8. Python爬蟲如何爬取span和span中間的內容并分別存入字典里？9. html5 - 只用CSS如何實現input框的寬度隨框里輸入的內容長短自動適應？10. javascript - 關于css絕對定位在ios瀏覽器被橡皮筋遮擋的問題
排行榜
網公網安備