文章詳情頁
javascript - Python 爬蟲 Ajax 頁面直接request獲取居然速度比selenium慢。
瀏覽：55日期：2022-08-04 16:42:25
問題描述
因為在爬取的網(wǎng)站需要賬號登陸，不方便公開。因此我只能這樣大致性的咨詢，實在抱歉。
我需要爬一個目標網(wǎng)站的數(shù)據(jù)，發(fā)現(xiàn)在點擊下一頁時候，網(wǎng)址并沒有改變.通過源碼確定是使用了js外加ajax的樣子.通過chrome的控制臺，捕獲到點擊下一頁時候，向指定地址發(fā)送了一條帶多個參數(shù)的get指令。
原先采用selenium+phantomjs的方式暴力無腦方式爬取，一個頁面大概5S左右就能獲取，實際用瀏覽器打開也是這個速度。為了爬取大量的數(shù)據(jù)，準備改用多線程+直接requests.get目標地址的方式來采集，但是發(fā)現(xiàn)采集速度非常的慢，從5S降到的20s左右。
請教下，出現(xiàn)這樣現(xiàn)象的原因可能是什么？我該如何解決？請指教
問題解答
回答1：抱歉 浪費了各位的時間- -是我開始測試的時候，周圍有人再下迅雷，網(wǎng)絡炸了。抱歉 抱歉
相關(guān)文章：
1. python bottle跑起來以后,定時執(zhí)行的任務為什么每次都重復(多)執(zhí)行一次?2. javascript - vue2.0中，$refs對象為什么用駝峰的方式獲取不到屬性？3. javascript - vue2如何獲取v-model變量名4. javascript - 求幫助 , ATOM不顯示界面!!!!5. html5 - HTML代碼中的文字亂碼是怎么回事？6. python - 爬蟲模擬登錄后，爬取csdn后臺文章列表遇到的問題7. javascript - ios返回不執(zhí)行js怎么解決？8. javascript - 能否讓vue-cli的express修改express重啟服務9. javascript - angular使從elastichearch中取出的文本高亮顯示，如圖所示10. mysql - 分庫分表、分區(qū)、讀寫分離 這些都是用在什么場景下 ，會帶來哪些效率或者其他方面的好處
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備