python - pyspider翻頁問題?
問題描述
想要爬取愛卡汽車的每個(gè)汽車的口碑,但是在翻頁問題總是進(jìn)不去,無論是用chorme還是自帶的css selector helper抓取到的CSS PATH都無法翻頁,請求幫助,代碼如下
#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2017-03-21 12:57:03# Project: test03import refrom pyspider.libs.base_handler import *class Handler(BaseHandler): crawl_config = { } @every(minutes=24 * 60) def on_start(self):self.crawl(’http://newcar.xcar.com.cn/price/’, callback=self.index_page) @config(age=10 * 24 * 60 * 60) def index_page(self, response):for each in response.doc(’a[href^='http']’).items(): if re.match('http://newcar.xcar.com.cn/d', each.attr.href, re.U): self.crawl(each.attr.href, callback=self.list_page) def list_page(self, response):for each in response.doc(’body > p.demio_wp > p > ul > li:nth-child(6) > a’).items(): self.crawl(each.attr.href, callback=self.list_page1)def list_page1(self, response):for each in response.doc(’.review_gml_tit > .more’).items(): self.crawl(each.attr.href, callback=self.detail_page) #翻頁,問題出在下面這里for each in response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > p.pagers > a:nth-child(2)’).items(): self.crawl(each.attr.href, callback=self.list_page1)@config(priority=2) def detail_page(self, response):return { 'branch':response.doc(’#nav_ps > em > a’).text(), 'text':response.doc(’body > p.review_main > p.review_left > p > p.review_comments > p.review_comments_dl > dl > dd’).text(), }
問題解答
回答1:評論是 javascript 加載的。
相關(guān)文章:
1. mysql 查詢身份證號字段值有效的數(shù)據(jù)2. python bottle跑起來以后,定時(shí)執(zhí)行的任務(wù)為什么每次都重復(fù)(多)執(zhí)行一次?3. 視頻文件不能播放,怎么辦?4. html5 - HTML代碼中的文字亂碼是怎么回事?5. python - 爬蟲模擬登錄后,爬取csdn后臺文章列表遇到的問題6. visual-studio - Python OpenCV: 奇怪的自動(dòng)補(bǔ)全問題7. mysql - 分庫分表、分區(qū)、讀寫分離 這些都是用在什么場景下 ,會(huì)帶來哪些效率或者其他方面的好處8. javascript - 彈出一個(gè)子窗口,操作之后關(guān)閉,主窗口會(huì)得到相應(yīng)的響應(yīng),例如網(wǎng)站的某些登錄界面,django后臺的管理等,這是怎么實(shí)現(xiàn)的呢?9. javascript - ios返回不執(zhí)行js怎么解決?10. android - 分享到微信,如何快速轉(zhuǎn)換成字節(jié)數(shù)組
