文章詳情頁
python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?
瀏覽:91日期:2022-08-10 17:31:34
問題描述
請求所需參數全部帶上了,并且已帶上cookies,已修改header,拿到的數據是提示刷新的HTML,如圖:原網頁是動態加載的瀑布流,即往不斷下拉就不斷有內容呈現出來,靜候大神,目前采用scrapy框架,暫時還不想上selenium+phantomjs,太重了
問題解答
回答1:動態加載的數據你應該找ajax api請求,而不是在網頁找,工欲善其事必先利其器,善用 F12。
回答2:這種情況比抓取一個代理ip網頁,使用cookie但是報錯好解決多了==,你完全可以判斷當前頁面內容然后進行模擬刷新~ 重要的是保持會話。
如果還不行的話,可以加referer再試一試
相關文章:
1. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ,會帶來哪些效率或者其他方面的好處2. javascript - ios返回不執行js怎么解決?3. python - 爬蟲模擬登錄后,爬取csdn后臺文章列表遇到的問題4. 視頻文件不能播放,怎么辦?5. python bottle跑起來以后,定時執行的任務為什么每次都重復(多)執行一次?6. html5 - HTML代碼中的文字亂碼是怎么回事?7. javascript - 求幫助 , ATOM不顯示界面!!!!8. mysql 查詢身份證號字段值有效的數據9. javascript - angular使從elastichearch中取出的文本高亮顯示,如圖所示10. javascript - 為什么在谷歌控制臺 輸出1的時候,輸出的1立馬就不見了
排行榜
