av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 用scrapy寫爬蟲,發送請求后,服務器全都直接返回202,該怎么辦呢?

瀏覽:117日期:2022-06-27 13:36:39

問題描述

我爬取的是中國裁判文書網,之前還是好好的,我發送請求,服務器返回200,然后我處理body中的數據

但是一個星期之前,突然所有的請求都返回202,然后response body里也是空的,完全拿不到數據,我在回調函數中阻塞等待while(response.status == 202)就sleep也沒用,status并不會變化

該怎么辦呢?

我使用了crwalera的ip代理服務,之前有段時間也是202,但是過了一天就好了,但這次已經持續了一個星期了,很奇怪

我覺得就是目標網站負載太大,所以采用異步的方式發送數據,但是我在scrapy里有怎么正確地收到他的數據呢?

問題解答

回答1:

這種情況通常是違規抓取,服務端進行了防抓取限制。如果是合法抓取的話,可以和內容方面溝通,看看是不是有誤傷,如果是非法抓取,還建議不要這樣做了,嚴重的話可能有被起訴的風險

回答2:

被防采集了,可以試試換ip或尋找防采的限制漏洞

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 黄色在线免费观看 | 亚洲欧洲精品在线 | 欧美一区二区三区国产精品 | 亚洲欧美综合精品久久成人 | 久久久精品国产 | 欧美日韩久久久 | 精品国产欧美一区二区 | 欧美日韩一区二区在线 | 无码国模国产在线观看 | 国产精品久久精品 | 精品九九 | 日本a∨精品中文字幕在线 亚洲91视频 | 中文字幕综合 | 成人精品鲁一区一区二区 | 天天艹逼网 | av黄色在线 | 日日干夜夜干 | av中文字幕在线观看 | 亚洲午夜在线 | 亚洲精品乱码久久久久久蜜桃91 | 久久中文一区二区 | 亚洲精品视频在线看 | 欧美国产精品 | 日韩欧美一区在线 | 91久久综合亚洲鲁鲁五月天 | 亚洲高清视频在线观看 | 91精品国产综合久久婷婷香蕉 | 欧美影院| 午夜免费视频 | 精品一区二区三区四区 | 亚洲国产aⅴ成人精品无吗 综合国产在线 | 国产在线第一页 | 国产一级一片免费播放 | 毛片毛片毛片毛片毛片 | 天天操夜夜骑 | 97色在线观看免费视频 | 国产亚洲欧美在线 | 国产乱码精品一区二区三区五月婷 | 成在线人视频免费视频 | 久久国产精品偷 | 久久天天躁狠狠躁夜夜躁2014 |