文章詳情頁(yè)
python - scrapy抓取知網(wǎng)response的內(nèi)容重復(fù)
瀏覽：99日期：2022-06-27 08:47:44
問(wèn)題描述
遍歷請(qǐng)求翻頁(yè)的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結(jié)果response請(qǐng)求成功 但是每次內(nèi)容都一樣的沒(méi)變化都是第一次請(qǐng)求時(shí)的內(nèi)容，但是用postman分別請(qǐng)求分頁(yè)的url就沒(méi)有這問(wèn)題。= = 是被ban了嗎 之前就不會(huì)這樣
問(wèn)題解答
回答1：那就要分析一下用postman或者瀏覽器訪問(wèn)時(shí)請(qǐng)求的header頭和用scrapy請(qǐng)求頭有什么區(qū)別
回答2：被反爬識(shí)別到了
回答3：看下控制臺(tái)打印的log，看看是否正確抓取了下一頁(yè)2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個(gè)x(http:xx/page/x)是否是變化的
相關(guān)文章：
1. Python爬蟲(chóng)如何爬取span和span中間的內(nèi)容并分別存入字典里？2. mysql - 把一個(gè)表中的數(shù)據(jù)count更新到另一個(gè)表里?3. 請(qǐng)教使用PDO連接MSSQL數(shù)據(jù)庫(kù)插入是亂碼問(wèn)題?4. mysql - 分庫(kù)分表、分區(qū)、讀寫(xiě)分離 這些都是用在什么場(chǎng)景下 ，會(huì)帶來(lái)哪些效率或者其他方面的好處5. visual-studio - Python OpenCV: 奇怪的自動(dòng)補(bǔ)全問(wèn)題6. 視頻文件不能播放，怎么辦？7. mysql 查詢身份證號(hào)字段值有效的數(shù)據(jù)8. linux - Ubuntu下編譯Vim8（+python）無(wú)數(shù)次編譯失敗9. node.js - nodejs開(kāi)發(fā)中常用的連接mysql的庫(kù)10. python - 爬蟲(chóng)模擬登錄后，爬取csdn后臺(tái)文章列表遇到的問(wèn)題
排行榜
熱門(mén)標(biāo)簽
網(wǎng)公網(wǎng)安備