av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

selenium - 請(qǐng)教一下 Python 爬蟲工具

瀏覽:122日期:2022-06-27 16:46:59

問題描述

1)我要抓的是 Instagram 某明星的粉絲2)Instagram pc 站使用了大量的 js 渲染3)沒寫過爬蟲,老板明天就要數(shù)據(jù)

我目前使用的是BeautifulSoup, selenium 和phantomjs

代碼 demo 大概是

driver = webdriver.PhantomJS(self.browser)driver.get(self.url)driver.implicitly_wait(3)element = driver.find_element_by_class_name('_s53mj')element.click()html = driver.page_sourcesoup = BeautifulSoup(html)

問題是:1) 我不知道click 有沒有執(zhí)行成功, click 的元素對(duì)不對(duì), driver 好像沒有返回值給我參考2) 即使 click 成功了, 但是他是不是只調(diào)了 js里的 click() 方法,并沒有觸發(fā) target 怎么辦3)我不知道是先渲染page_source, 還是 應(yīng)該先 click, 假設(shè)執(zhí)行成功了 click, 是不是也不會(huì)再 source 里返回了

啊, 謝各位爬蟲大佬了

問題解答

回答1:

說的是什么意思?百思不得其解啊。。。

selenium自動(dòng)化,click能模仿用戶點(diǎn)擊,就跟你自己在頁(yè)面上點(diǎn)擊一樣,一切都在虛擬瀏覽器驅(qū)動(dòng)中進(jìn)行。

看你的業(yè)務(wù)邏輯啊。。。比如有些數(shù)據(jù)要點(diǎn)擊后才有,那就先click再獲取源代碼。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 日韩一级免费大片 | 成人午夜免费福利视频 | 日韩专区中文字幕 | 国产精品夜夜春夜夜爽久久电影 | 日本三级线观看 视频 | 欧美性猛交一区二区三区精品 | 亚洲欧美精品久久 | 91精品久久久久久久久久小网站 | 欧美黑人狂野猛交老妇 | 久久精品视频在线观看 | 免费视频久久久久 | 亚洲巨乳自拍在线视频 | 在线天堂免费中文字幕视频 | 国产成人jvid在线播放 | 亚洲欧美在线一区 | 老外几下就让我高潮了 | 日日干天天操 | 九九久久在线看 | 日韩av免费在线观看 | 九九色综合 | 中文字幕av在线播放 | 日韩精品在线播放 | 久久一 | 在线激情视频 | 成人国产a | 国产成人免费视频网站高清观看视频 | 日韩欧美在线观看 | 91精品国产色综合久久不卡98口 | 久久国产精品免费一区二区三区 | 91一区二区| 免费毛片网 | 99久久精品一区二区成人 | 久久久高清 | 99在线观看视频 | 99久久婷婷国产亚洲终合精品 | 国产91丝袜在线18 | 国产午夜精品久久 | 亚洲图片视频一区 | 91免费电影 | 99热在线观看精品 | 亚洲黄色在线 |