av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

python - pyspider翻頁問題?

瀏覽:122日期:2022-08-18 18:47:48

問題描述

想要爬取愛卡汽車的每個(gè)汽車的口碑,但是在翻頁問題總是進(jìn)不去,無論是用chorme還是自帶的css selector helper抓取到的CSS PATH都無法翻頁,請求幫助,代碼如下

#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-03-21 12:57:03# Project: test03import refrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://newcar.xcar.com.cn/price/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’a[href^='http']’).items(): if re.match('http://newcar.xcar.com.cn/d', each.attr.href, re.U): self.crawl(each.attr.href, callback=self.list_page) def list_page(self, response):for each in response.doc(’body > p.demio_wp > p > ul > li:nth-child(6) > a’).items(): self.crawl(each.attr.href, callback=self.list_page1)def list_page1(self, response):for each in response.doc(’.review_gml_tit > .more’).items(): self.crawl(each.attr.href, callback=self.detail_page) #翻頁,問題出在下面這里for each in response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > p.pagers > a:nth-child(2)’).items(): self.crawl(each.attr.href, callback=self.list_page1)@config(priority=2) def detail_page(self, response):return { 'branch':response.doc(’#nav_ps > em > a’).text(), 'text':response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > dl > dd’).text(), }

問題解答

回答1:

評論是 javascript 加載的。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 精品一区在线 | 国产韩国精品一区二区三区 | 欧美日韩一区不卡 | 成人免费看片 | 欧美成人精品一区二区男人看 | 国产成人精品一区 | 91在线看网站 | 搞黄视频免费看 | 中文字幕亚洲无线 | 91麻豆精品一区二区三区 | 欧美在线一区二区三区 | 99视频在线免费观看 | 夜夜草视频 | 国产毛片久久久 | 黄片毛片免费看 | 九九精品久久久 | 国产精品一区视频 | 国产精品久久久久久久免费观看 | 99在线播放| 色婷婷国产精品综合在线观看 | 欧美亚洲在线视频 | 亚洲一区精品在线 | 久久久久久久久久久久一区二区 | 欧美激情久久久 | 毛片av免费在线观看 | 国产一级在线视频 | 久久中文字幕一区 | 欧美午夜剧场 | 亚洲成人免费在线 | 国产女人精品视频 | 99久久精品视频免费 | 成人无遮挡毛片免费看 | 国产精品久久久久久久粉嫩 | 日韩免费av | 成人在线免费观看视频 | 男女羞羞视频在线免费观看 | 欧美在线视频一区二区 | 欧洲色综合| 日韩欧美在线不卡 | 久草网免费 | 91久久精品一区二区二区 |