av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

python - pyspider翻頁問題?

瀏覽:122日期:2022-08-18 18:47:48

問題描述

想要爬取愛卡汽車的每個(gè)汽車的口碑,但是在翻頁問題總是進(jìn)不去,無論是用chorme還是自帶的css selector helper抓取到的CSS PATH都無法翻頁,請求幫助,代碼如下

#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-03-21 12:57:03# Project: test03import refrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://newcar.xcar.com.cn/price/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’a[href^='http']’).items(): if re.match('http://newcar.xcar.com.cn/d', each.attr.href, re.U): self.crawl(each.attr.href, callback=self.list_page) def list_page(self, response):for each in response.doc(’body > p.demio_wp > p > ul > li:nth-child(6) > a’).items(): self.crawl(each.attr.href, callback=self.list_page1)def list_page1(self, response):for each in response.doc(’.review_gml_tit > .more’).items(): self.crawl(each.attr.href, callback=self.detail_page) #翻頁,問題出在下面這里for each in response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > p.pagers > a:nth-child(2)’).items(): self.crawl(each.attr.href, callback=self.list_page1)@config(priority=2) def detail_page(self, response):return { 'branch':response.doc(’#nav_ps > em > a’).text(), 'text':response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > dl > dd’).text(), }

問題解答

回答1:

評論是 javascript 加載的。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 免费中文字幕日韩欧美 | 国产精品一区二区在线 | 综合激情av | 中文字幕精品一区 | 超碰人人艹 | 亚洲成人天堂 | 国产一区二区三区视频 | 一级a性色生活片久久毛片波多野 | 国产在线观看网站 | 韩国成人在线视频 | 国产这里只有精品 | 中文字幕一区二区三区四区五区 | 日韩欧美一区二区在线播放 | 亚洲网在线 | 国产精品国产a级 | 欧美精品久久久久 | 一级黄色毛片 | www天天操 | caoporn免费在线视频 | 成人三区 | 91视频精选 | 黄色免费在线观看 | 日韩一区二区三区四区五区 | 国产精品国产三级国产aⅴ浪潮 | 日日摸夜夜爽人人添av | 国产资源在线观看 | 91大神在线资源观看无广告 | 国产精品久久国产精品久久 | 91精品国产91久久久久久吃药 | 日韩在线观看 | 欧美激情精品久久久久 | 电影在线| 国产精品国产a级 | 欧美日韩综合 | 国产欧美精品一区 | 视频精品一区二区三区 | 国产精品久久久久影院色老大 | 国产xxxx搡xxxxx搡麻豆 | 中文字幕91av | 亚洲成人一区 | 欧美日韩精品一区二区三区蜜桃 |