av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

javascript - node爬取微博

瀏覽:115日期:2022-06-24 14:18:08

問題描述

剛接觸node,想寫個爬蟲,爬取新浪微博評論,但是發現頁面是由JS動態生成的,用http模塊爬取不到,然后用phantomjs爬取,(聽說會比較慢,運行了近15分鐘,這也太慢了,不知是否寫錯),還是不行,問一下有什么辦法能夠爬取類似于新浪微博的網頁嗎?

let page=require('webpage').create();let url='http://weibo.com/1713926427/Etq2WnSiR?filter=hot&root_comment_id=0&type=comment';/*page.settings = { javascriptEnabled: true, loadImages: false, webSecurityEnabled: false, userAgent: ’Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.137 Safari/537.36 LBBROWSER’};*/page.open(url,(status)=>{ console.log('Status:'+status); if(status=='success'){let val = page.evaluate(()=>{ var list_box=document.querySelector('.list_box'); console.log(list_box); return list_box});console.log(val) }else{console.log('failed') } phantom.exit();});

問題解答

回答1:

自己寫過微博的爬取,有兩種思路

仔細看一下應該是有接口去獲取相應數據的然后用正則去匹配

微博提供了開發者API接口的,雖然用著比較麻煩

標簽: 微博
相關文章:
主站蜘蛛池模板: 国产精品欧美一区二区三区 | 日韩毛片在线视频 | 亚洲精品日韩精品 | 久草资源在线 | 看黄在线| 黄色一级视频 | 国产在线成人 | 成人精品鲁一区一区二区 | 久久青| 亚洲一区二区三区免费视频 | 精品欧美一区二区精品久久久 | 中文字幕亚洲视频 | a网站在线观看 | 2021天天躁夜夜看 | 天天干天天草 | 四虎伊人 | 男人的天堂久久 | 91性高湖久久久久久久久_久久99 | 国产精品精品久久久 | 精品欧美一区二区精品久久久 | 久久久久久免费毛片精品 | 日韩精品一区二区三区在线 | 午夜精品视频在线观看 | 亚洲精品v日韩精品 | 久久精品欧美一区二区三区麻豆 | 亚洲欧洲成人av每日更新 | 成年人国产在线观看 | 羞羞的视频在线观看 | 国产亚洲一区二区三区在线观看 | 国产h视频 | 欧美精选一区二区 | 久久久性 | 欧美日韩免费 | 欧美精品一区二区三区在线 | 欧美日韩高清在线一区 | 色欧美片视频在线观看 | 亚洲精品日日夜夜 | 影音先锋中文在线 | 国产毛片久久久久久久久春天 | 在线国产视频 | www.日韩 |