av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

javascript - node爬取微博

瀏覽:115日期:2022-06-24 14:18:08

問題描述

剛接觸node,想寫個爬蟲,爬取新浪微博評論,但是發現頁面是由JS動態生成的,用http模塊爬取不到,然后用phantomjs爬取,(聽說會比較慢,運行了近15分鐘,這也太慢了,不知是否寫錯),還是不行,問一下有什么辦法能夠爬取類似于新浪微博的網頁嗎?

let page=require('webpage').create();let url='http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment';/*page.settings = { javascriptEnabled: true, loadImages: false, webSecurityEnabled: false, userAgent: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER’};*/page.open(url,(status)=>{ console.log('Status:'+status); if(status=='success'){let val = page.evaluate(()=>{ var list_box=document.querySelector('.list_box'); console.log(list_box); return list_box});console.log(val) }else{console.log('failed') } phantom.exit();});

問題解答

回答1:

自己寫過微博的爬取,有兩種思路

仔細看一下應該是有接口去獲取相應數據的然后用正則去匹配

微博提供了開發者API接口的,雖然用著比較麻煩

標簽: 微博
相關文章:
主站蜘蛛池模板: 国产精品久久久久久久久久免费 | 中文字幕一区二区三区四区 | 麻豆国产一区二区三区四区 | 色噜噜亚洲男人的天堂 | 人干人人 | 亚洲成人精品在线观看 | 91毛片网 | 久久精品毛片 | 高清一区二区三区 | 欧美日韩成人一区二区 | 天天看天天干 | 日韩一区二区精品 | 中文字幕 在线观看 | 久久久久国产一区二区三区 | 免费观看一级特黄欧美大片 | 天天想天天干 | 久久久入口 | 黑人一级片视频 | 国产一区不卡 | 成人免费视频在线观看 | 久久久久久综合 | 韩国精品一区二区三区 | zzzwww在线看片免费 | 久久精品超碰 | 三极网站 | 国产精品毛片一区二区三区 | 日本超碰 | 日韩视频中文字幕 | 看一级黄色毛片 | 国产一级淫片免费视频 | 国产精品色哟哟网站 | 国内精品免费久久久久软件老师 | 亚洲性综合网 | 精品一区二区三区四区五区 | 夜夜艹 | 国产成人在线一区二区 | 在线天堂免费中文字幕视频 | av手机免费在线观看 | 欧美午夜一区二区三区免费大片 | 国产亚洲人成a在线v网站 | 欧美成人一区二区三区 |