文章詳情頁
python - 在編寫scrapy爬蟲的時候rules中allow的書寫問題
瀏覽:112日期:2022-08-01 16:58:44
問題描述
在編寫爬取58同城二手手機出售的信息的時候,rules里的allow應(yīng)該怎么寫?它里面給出的下一頁或者第二頁第三頁等等的鏈接給出的都是縮減的鏈接,那么rules里的allow應(yīng)該要怎么寫呢?有哪位高手可以指點一二嘛?謝謝~
問題解答
回答1:縮減的鏈接可以用urljoin()組合啊
相關(guān)文章:
1. css - 對于類選擇器使用的問題2. javascript - 奇怪的Symbol的問題3. python - 為什么在main()函數(shù)里result 會變成那樣?4. javascript - Web微信聊天輸入框解決方案5. angular.js - angular ng-class里面的引號問題6. docker - 如何修改運行中容器的配置7. javascript - 有沒有什么好的圖片懶加載的插件,需要包含監(jiān)聽頁面滾動高度,然后再加載的功能8. 網(wǎng)頁爬蟲 - 用Python3的requests庫模擬登陸B(tài)ilibili總是提示驗證碼錯誤怎么辦?9. javascript - es6將類數(shù)組轉(zhuǎn)化成數(shù)組的問題10. html - vue項目中用到了elementUI問題
排行榜

熱門標簽