問題描述

如一篇文章有2-3頁，然后想把這些內容頁爬下來，拼接成一頁，然后再放入數據庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內容。大概怎么寫呢？

問題解答

找到分頁接口url

找到那個下一頁的鏈接，加入到爬取url列表中

可以在rules里面寫正則自動掃描符合的url