av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - 為什么用requests庫能爬取而用scrapy卻不能?

瀏覽:112日期:2022-09-08 13:31:18

問題描述

# -*- coding: utf-8 -*-import requestsdef xici_request(): url = ’http://www.xicidaili.com’ headers = {’Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8’,’Accept-Encoding’: ’gzip, deflate, sdch’,’Accept-Language’: ’zh-CN,zh;q=0.8’,’Cache-Control’: ’max-age=0’,’Connection’: ’keep-alive’,’Host’: ’www.xicidaili.com’,’Referer’: ’https://www.google.com/’,’User-Agent’: ’Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36’ res = requests.get(url, headers=headers) print(res.text)if __name__ == ’__main__’: xici_request()

# -*- coding: utf-8 -*-import scrapyfrom collectips.items import CollectipsItemclass XiciSpider(scrapy.Spider): name = 'xici' allowed_domains = ['http://www.xicidaili.com'] headers = {’Accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8’, ’Accept-Encoding’: ’gzip, deflate, sdch’, ’Accept-Language’: ’zh-CN,zh;q=0.8’, ’Cache-Control’: ’max-age=0’, ’Connection’: ’keep-alive’, ’Host’: ’www.xicidaili.com’, ’Referer’: ’https://www.google.com/’, ’User-Agent’: ’Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36’} def start_requests(self):reqs = []for i in range(1, 21): req = scrapy.Request(’http://www.xicidaili.com/nn/{}’.format(i), headers=self.headers) reqs.append(req)return reqs def parse(self, response):item = CollectipsItem()sel = response.selectorfor i in range(2, 102): item[’IP’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[2]/text()’.format(i)).extract() item[’PORT’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[3]/text()’.format(i)).extract() item[’DNS_POSITION’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[4]/a/text()’.format(i)).extract() item[’TYPE’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[6]/text()’.format(i)).extract() item[’SPEED’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[7]/p[@title]’.format(i)).extract() item[’LAST_CHECK_TIME’] = sel.xpath(’//*[@id='ip_list']/tbody/tr[{}]/td[10]/text()’.format(i)).extract() yield item

代碼如上,為什么requests能返回網頁內容,而scrapy卻是報錯內部服務器錯誤500? 請大神解救??

問題解答

回答1:

并發你沒考慮進去吧,當同一時間發起過多的請求會直接封你IP

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 在线观看中文字幕亚洲 | 成人小视频在线免费观看 | 欧美区日韩区 | 日本一区二区三区精品视频 | 免费精品久久久久久中文字幕 | 一区二区在线视频 | 中文字幕亚洲视频 | 成人在线视频网址 | 亚洲欧美在线视频 | 国产精品久久久久久婷婷天堂 | 亚洲成人av在线播放 | 91免费在线看 | 日韩在线观看视频一区 | 国产在线观看免费 | 99久久久国产精品免费消防器 | 综合激情久久 | 久久久精品黄色 | 国产成人精品一区二区三区在线 | 亚洲精品乱码久久久久久蜜桃 | 黄色网址在线免费观看 | 欧美日韩福利视频 | 久久久久久久久久久蜜桃 | 国产一区二区免费在线 | 丁香久久 | 国产日屁 | h视频免费在线观看 | 国产午夜久久久 | av片在线观看网站 | 奇米影视在线 | 久久99精品久久久久久琪琪 | 91久久久久久久久久久 | 国产女人与拘做受免费视频 | 亚洲精品久久久蜜桃 | 亚洲精品永久免费 | 色婷婷激情 | 激情五月综合 | 午夜精品久久 | 日韩av网址在线观看 | 亚洲一区二区三区免费视频 | 91福利在线观看视频 | 91久久网站 |