av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

selenium - 請(qǐng)教一下 Python 爬蟲工具

瀏覽:122日期:2022-06-27 16:46:59

問題描述

1)我要抓的是 Instagram 某明星的粉絲2)Instagram pc 站使用了大量的 js 渲染3)沒寫過爬蟲,老板明天就要數(shù)據(jù)

我目前使用的是BeautifulSoup, selenium 和phantomjs

代碼 demo 大概是

driver = webdriver.PhantomJS(self.browser)driver.get(self.url)driver.implicitly_wait(3)element = driver.find_element_by_class_name('_s53mj')element.click()html = driver.page_sourcesoup = BeautifulSoup(html)

問題是:1) 我不知道click 有沒有執(zhí)行成功, click 的元素對(duì)不對(duì), driver 好像沒有返回值給我參考2) 即使 click 成功了, 但是他是不是只調(diào)了 js里的 click() 方法,并沒有觸發(fā) target 怎么辦3)我不知道是先渲染page_source, 還是 應(yīng)該先 click, 假設(shè)執(zhí)行成功了 click, 是不是也不會(huì)再 source 里返回了

啊, 謝各位爬蟲大佬了

問題解答

回答1:

說的是什么意思?百思不得其解啊。。。

selenium自動(dòng)化,click能模仿用戶點(diǎn)擊,就跟你自己在頁(yè)面上點(diǎn)擊一樣,一切都在虛擬瀏覽器驅(qū)動(dòng)中進(jìn)行。

看你的業(yè)務(wù)邏輯啊。。。比如有些數(shù)據(jù)要點(diǎn)擊后才有,那就先click再獲取源代碼。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 亚洲高清视频一区二区 | 国内精品伊人久久久久网站 | 一级片视频免费观看 | www.888www看片 | 亚洲精品久久国产高清情趣图文 | 91电影在线 | 国产96色在线 | 欧美最猛黑人 | 涩涩导航 | 欧美日韩在线免费观看 | 毛片一级电影 | 91精品国产91久久综合桃花 | 91麻豆精品国产91久久久资源速度 | av大片 | 日韩专区中文字幕 | 一区二区三区高清 | 国产欧美视频一区二区 | 丝袜美腿av| 亚洲综合一区二区三区 | 久久只有精品 | 中文字幕视频在线观看 | 国产精品自产av一区二区三区 | 久久亚洲一区 | 欧美一级免费看 | 一区二区三区在线播放 | 能看的av | 久久久久一区 | 国产欧美精品 | 日本不卡在线视频 | 91久久久久 | 亚洲精品一 | 黄色毛片在线看 | 欧洲视频一区二区 | 成人在线免费观看视频 | 风间由美一区二区三区在线观看 | 在线视频成人 | 久久免费观看一级毛片 | 玖玖操| 成人精品久久 | 亚洲成人av | www.日本三级 |