av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python - scrapy url去重

瀏覽:129日期:2022-08-24 16:35:16

問題描述

請問scrapy是url自動去重的嗎?比如下面這段代碼,為什么運行時start_urls里面的重復url會重復爬取了?

class TestSpider(scrapy.Spider): name = 'test' allowed_domains = ['baidu.com'] start_urls = [’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’,] def parse(self, response):for sel in response.xpath(’//p[@class='grid-list grid-list-spot']/ul/li’): item = TestspiderItem() item[’title’] = sel.xpath(’p[@class='list']/a/text()’)[0].extract() item[’link’] = sel.xpath(’p[@class='list']/a/@href’)[0].extract() yield item

問題解答

回答1:

建一個Url管理器,就不會重復抓取了

回答2:

知道了,改成這樣就可以了。

def start_requests(self):

yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 三级在线观看 | 日韩免费1区二区电影 | 九九久久精品视频 | 国产ts一区 | 日韩精品1区2区3区 爱爱综合网 | 久久一| 欧美在线视频一区 | 成人免费观看男女羞羞视频 | 中文字幕av网址 | 天天色天天射天天干 | 999免费视频 | 岛国毛片在线观看 | 亚洲欧美中文字幕在线观看 | 欧美在线观看一区 | 91在线精品一区二区 | 国产高清视频在线观看 | 成人福利网 | 翔田千里一区二区 | 亚洲综合区 | www.久久久久久久久 | 欧美一区二区在线观看 | 亚洲一区欧美一区 | 久久91| 久草新在线 | 亚洲一区二区视频 | www.se91 | 一级黄色大片 | 激情福利视频 | 91精品国产自产精品男人的天堂 | 狠狠爱免费视频 | 日本韩国欧美在线观看 | 九九热在线观看 | 中文字幕在线精品 | 久久精品日产第一区二区三区 | 日韩一区二区三区在线播放 | 日韩激情视频一区 | 欧美中文字幕 | 精品视频一区二区 | 古装人性做爰av网站 | 一区二区三区四区在线 | 久久精品久久精品久久精品 |