av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?

瀏覽:91日期:2022-08-10 17:31:34

問題描述

請求所需參數全部帶上了,并且已帶上cookies,已修改header,拿到的數據是提示刷新的HTML,如圖:python - 爬取某網站時需要瀏覽器刷新一次才能返回真實的頁面數據?原網頁是動態加載的瀑布流,即往不斷下拉就不斷有內容呈現出來,靜候大神,目前采用scrapy框架,暫時還不想上selenium+phantomjs,太重了

問題解答

回答1:

動態加載的數據你應該找ajax api請求,而不是在網頁找,工欲善其事必先利其器,善用 F12。

回答2:

這種情況比抓取一個代理ip網頁,使用cookie但是報錯好解決多了==,你完全可以判斷當前頁面內容然后進行模擬刷新~ 重要的是保持會話。

如果還不行的話,可以加referer再試一試

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 在线免费观看色 | 欧美中文字幕一区二区 | 99pao成人国产永久免费视频 | 男女啪啪网址 | 美女黄视频网站 | 影视先锋av资源噜噜 | 欧美一区二区三区在线看 | 天天视频一区二区三区 | 欧美色综合一区二区三区 | 欧美一区二区在线播放 | 黄色片网此 | 国产精品久久久久久久久久久久 | 亚洲人人 | 久久一及片 | 亚洲一区久久 | 日韩黄色小视频 | av影片在线 | 国产一级特黄真人毛片 | 一本大道久久a久久精二百 欧洲一区二区三区 | 国产专区在线 | 亚洲精品一区二区在线观看 | 91天堂| 亚洲视频一区在线观看 | 99reav| 色综合久久天天综合网 | 国产精久久久久久久 | 亚洲一二三区免费 | 国产精品不卡 | 天堂中文av | 久久久久久久91 | 亚洲国产精品99久久久久久久久 | 精品久久久久久久久久久久久久 | 欧美综合一区二区三区 | 国产丝袜一区二区三区免费视频 | 91久久久久久久久 | 国产成人久久久 | 国产精品永久免费 | 精品国产青草久久久久福利 | 69电影网 | 国产黄色在线观看 | 成人精品国产免费网站 |