av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?

瀏覽:91日期:2022-08-10 17:31:34

問題描述

請求所需參數全部帶上了,并且已帶上cookies,已修改header,拿到的數據是提示刷新的HTML,如圖:python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?原網頁是動態加載的瀑布流,即往不斷下拉就不斷有內容呈現出來,靜候大神,目前采用scrapy框架,暫時還不想上selenium+phantomjs,太重了

問題解答

回答1:

動態加載的數據你應該找ajax api請求,而不是在網頁找,工欲善其事必先利其器,善用 F12。

回答2:

這種情況比抓取一個代理ip網頁,使用cookie但是報錯好解決多了==,你完全可以判斷當前頁面內容然后進行模擬刷新~ 重要的是保持會話。

如果還不行的話,可以加referer再試一試

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 成人av免费 | 在线成人 | 久久久久久久久久久久久9999 | 免费一区二区三区 | 亚洲欧美一区在线 | 日韩在线观看中文字幕 | 国产精品视频网 | 久久精品 | 亚洲国产一区二区三区四区 | 国产在线观看一区二区三区 | 色在线免费视频 | av一级毛片| 亚洲精品一区二区在线观看 | 97在线超碰 | 国产精品18hdxxxⅹ在线 | 一级亚洲| 国产精品区二区三区日本 | 久久国产视频播放 | 亚洲综合二区 | 欧美一级毛片在线播放 | 欧美区日韩区 | 天天天操天天天干 | 自拍第1页| 精久久| 天天影视网天天综合色在线播放 | 亚洲免费一| 亚洲成人精品国产 | 国产重口老太伦 | 久久亚洲一区 | 欧美无乱码久久久免费午夜一区 | 国内精品视频在线观看 | 中文字幕在线观看视频网站 | 久久精品av麻豆的观看方式 | 天天操夜夜操 | 玖玖综合网 | 91在线播 | 夜夜草视频 | 精品免费视频 | 国产 欧美 日韩 一区 | 自拍第1页 | 亚洲综合伊人 |