av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?

瀏覽:91日期:2022-08-10 17:31:34

問題描述

請求所需參數全部帶上了,并且已帶上cookies,已修改header,拿到的數據是提示刷新的HTML,如圖:python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?原網頁是動態加載的瀑布流,即往不斷下拉就不斷有內容呈現出來,靜候大神,目前采用scrapy框架,暫時還不想上selenium+phantomjs,太重了

問題解答

回答1:

動態加載的數據你應該找ajax api請求,而不是在網頁找,工欲善其事必先利其器,善用 F12。

回答2:

這種情況比抓取一個代理ip網頁,使用cookie但是報錯好解決多了==,你完全可以判斷當前頁面內容然后進行模擬刷新~ 重要的是保持會話。

如果還不行的話,可以加referer再試一試

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 日韩在线不卡 | 亚洲综合在线播放 | 国产精品久久久久久模特 | 韩国av一区二区 | 亚洲综合一区二区三区 | 不卡一区二区三区四区 | av网站免费观看 | 国产精品96久久久久久 | 欧美一区二区视频 | 国产激情精品一区二区三区 | 欧美精品一二三 | 成人免费视频网 | 国产成人午夜高潮毛片 | 欧美二三区 | 久草视频在线播放 | 亚洲高清一区二区三区 | 天天干狠狠操 | 国产高清性xxxxxxxx | 国产精品色 | 欧美一级免费看 | 亚洲视频在线观看一区二区三区 | 91精品国产乱码久久久久久久久 | 成人精品一区亚洲午夜久久久 | 九九国产在线观看 | 国产一区精品在线 | 中文成人在线 | 国产.com| 国产91丝袜在线18 | 国产激情视频网站 | 久久国产精品免费一区二区三区 | 亚洲成人一区二区三区 | 在线观看毛片网站 | 国产成人精品一区二区三区 | 中文字幕亚洲欧美 | 成人精品一区二区三区中文字幕 | 伊人网综合 | 国产精品完整版 | 国产精品免费大片 | 91在线免费视频 | 国产精品一区二区不卡 | 国产欧美一区二区三区日本久久久 |