javascript - node爬取微博
問題描述
剛接觸node,想寫個爬蟲,爬取新浪微博評論,但是發現頁面是由JS動態生成的,用http模塊爬取不到,然后用phantomjs爬取,(聽說會比較慢,運行了近15分鐘,這也太慢了,不知是否寫錯),還是不行,問一下有什么辦法能夠爬取類似于新浪微博的網頁嗎?
let page=require('webpage').create();let url='http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment';/*page.settings = { javascriptEnabled: true, loadImages: false, webSecurityEnabled: false, userAgent: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER’};*/page.open(url,(status)=>{ console.log('Status:'+status); if(status=='success'){let val = page.evaluate(()=>{ var list_box=document.querySelector('.list_box'); console.log(list_box); return list_box});console.log(val) }else{console.log('failed') } phantom.exit();});
問題解答
回答1:自己寫過微博的爬取,有兩種思路
仔細看一下應該是有接口去獲取相應數據的然后用正則去匹配
微博提供了開發者API接口的,雖然用著比較麻煩
相關文章:
1. python - 數據與循環次數對應不上2. node.js - nodejs開發中常用的連接mysql的庫3. mysql - jdbc的問題4. python - 我在使用pip install -r requirements.txt下載時,為什么部分能下載,部分不能下載5. 視頻文件不能播放,怎么辦?6. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ,會帶來哪些效率或者其他方面的好處7. windows7 ping不通虛擬機VMware上的linux(ubuntu)的ip8. 網頁爬蟲 - python 爬取網站 并解析非json內容9. python - 編碼問題求助10. mysql - 如何減少使用或者不用LEFT JOIN查詢?
