av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 用scrapy寫爬蟲,發送請求后,服務器全都直接返回202,該怎么辦呢?

瀏覽:117日期:2022-06-27 13:36:39

問題描述

我爬取的是中國裁判文書網,之前還是好好的,我發送請求,服務器返回200,然后我處理body中的數據

但是一個星期之前,突然所有的請求都返回202,然后response body里也是空的,完全拿不到數據,我在回調函數中阻塞等待while(response.status == 202)就sleep也沒用,status并不會變化

該怎么辦呢?

我使用了crwalera的ip代理服務,之前有段時間也是202,但是過了一天就好了,但這次已經持續了一個星期了,很奇怪

我覺得就是目標網站負載太大,所以采用異步的方式發送數據,但是我在scrapy里有怎么正確地收到他的數據呢?

問題解答

回答1:

這種情況通常是違規抓取,服務端進行了防抓取限制。如果是合法抓取的話,可以和內容方面溝通,看看是不是有誤傷,如果是非法抓取,還建議不要這樣做了,嚴重的話可能有被起訴的風險

回答2:

被防采集了,可以試試換ip或尋找防采的限制漏洞

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产精品免费在线 | 中文字字幕一区二区三区四区五区 | 伊人色综合久久天天五月婷 | av色站 | 亚洲欧洲一区 | 午夜网 | 麻豆亚洲 | 美女黄18岁以下禁止观看 | 欧美一区二区视频 | 欧美日韩视频在线第一区 | 欧美激情在线播放 | 伦理片97| 欧美视频三区 | 欧美精品第一页 | 日韩精品中文字幕在线 | 久久成人在线视频 | 国产一极毛片 | 91精品久久久久久久久99蜜臂 | 欧美精品第三页 | 中文字幕国产高清 | 欧美性影院| 成年视频在线观看 | 操操日| 一区二区三区在线播放视频 | 成人夜晚看av | 午夜精品久久久久久久 | 久久精品小视频 | 欧美自拍网站 | 五月精品视频 | 在线午夜| 第四色影音先锋 | 一级做a| 亚洲精品视频网站在线观看 | 欧美自拍另类 | 欧美精品久久久久 | 古装人性做爰av网站 | 国产高清视频在线观看 | 日韩中文字幕在线不卡 | 日韩视频在线观看中文字幕 | 365夜爽爽欧美性午夜免费视频 | 一区二区免费在线观看 |