av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 用scrapy寫爬蟲,發送請求后,服務器全都直接返回202,該怎么辦呢?

瀏覽:117日期:2022-06-27 13:36:39

問題描述

我爬取的是中國裁判文書網,之前還是好好的,我發送請求,服務器返回200,然后我處理body中的數據

但是一個星期之前,突然所有的請求都返回202,然后response body里也是空的,完全拿不到數據,我在回調函數中阻塞等待while(response.status == 202)就sleep也沒用,status并不會變化

該怎么辦呢?

我使用了crwalera的ip代理服務,之前有段時間也是202,但是過了一天就好了,但這次已經持續了一個星期了,很奇怪

我覺得就是目標網站負載太大,所以采用異步的方式發送數據,但是我在scrapy里有怎么正確地收到他的數據呢?

問題解答

回答1:

這種情況通常是違規抓取,服務端進行了防抓取限制。如果是合法抓取的話,可以和內容方面溝通,看看是不是有誤傷,如果是非法抓取,還建議不要這樣做了,嚴重的話可能有被起訴的風險

回答2:

被防采集了,可以試試換ip或尋找防采的限制漏洞

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产精品视频在线播放 | 午夜视频在线免费观看 | 色视频在线观看 | 一区二区三区在线电影 | 91国在线高清视频 | 亚洲国产精品一区二区第一页 | 国产精品国产精品国产专区不卡 | 欧美色图另类 | 在线免费观看成年人视频 | 国产欧美三区 | 欧美精品二区 | 一区二区三区在线看 | 日韩免费视频一区二区 | 黄色成人在线 | 亚洲国产精品网站 | 成人小视频在线观看 | 久久久久久亚洲国产精品 | 国产视频一区在线 | 久久新视频 | 这里精品 | 二区三区视频 | 国产成人免费在线 | 爱操av| 亚洲欧美中文日韩在线v日本 | 精品视频免费在线 | 国产精品久久久久久久久 | 暴草美女 | 久久精品国产一区二区三区不卡 | 国产区视频在线观看 | 老司机午夜性大片 | 亚洲免费人成在线视频观看 | 免费激情 | 成人国产精品视频 | 午夜影院在线观看视频 | 黄色在线免费观看视频网站 | 久久99精品国产99久久6男男 | 狠狠操av | 国产成人99av超碰超爽 | 中文一区二区 | 国产精品视频在线播放 | 在线观看免费av网 |