文章詳情頁
python 爬蟲 解析效率如何提升?
瀏覽:128日期:2022-06-29 17:26:48
問題描述
現(xiàn)在采用的是在windows 環(huán)境下 采用多線程的方式進行爬取,使用beautifulsoup+lxml進行解析.
N個爬取線程->解析隊列->1個解析線程->存儲隊列->1個存儲線程
整個執(zhí)行程序的效率卡在計算密集的解析線程中,如果只是增加解析線程數量的話,反而增加線程切換開銷速度變慢。
請問下 有什么辦法可以較為明顯的提升解析效率?
根據兩位大腿的說明 準備采用異步爬取->解析隊列->N個解析進程->存儲隊列->存儲線程
準備開工
問題解答
回答1:其實我覺得, 你在前面N個爬取線程 可以換成協(xié)程/線程池實現(xiàn), 因為你在頻繁創(chuàng)建線程本省一種性能耗費, 用線程池雖然可以減少這部分的損耗, 但是上下文切換還是無法避免, 所以協(xié)程這方面, 應該是比較合適的.1個解析線程 換成 進程池,多開幾個進程去計算密集處理, 其余應該可以不用改, 如果還想再搞, 將核心部分用c/c++ 重寫咯, 希望可以幫到你
回答2:我的做法是多進程。多進程的好處是當單機性能不夠的時候,可以隨時切換為分布式爬蟲。
回答3:可以網上找下tornade異步爬蟲吧,我正在用這個
相關文章:
1. docker - 如何修改運行中容器的配置2. javascript - Web微信聊天輸入框解決方案3. 請教各位大佬,瀏覽器點 提交實例為什么沒有反應4. docker images顯示的鏡像過多,狗眼被亮瞎了,怎么辦?5. javascript - 為什么form表單提交沒有跨域問題,但ajax提交有跨域問題?6. javascript - Ajax加載Json時,移動端頁面向左上角縮小一截兒,加載完成后才正常顯示,這該如何解決?7. javascript - history.replaceState()無法改變query參數8. javascript - 移動端textarea不能上下滑動,該怎么解決?9. javascript - 關于audio標簽暫停的問題10. javascript - 音頻加載問題
排行榜
