av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

Python爬蟲實現模擬點擊動態頁面

瀏覽:12日期:2022-08-03 18:17:33

動態頁面的模擬點擊:

以斗魚直播為例:http://www.douyu.com/directory/all

爬取每頁的房間名、直播類型、主播名稱、在線人數等數據,然后模擬點擊下一頁,繼續爬取

代碼如下

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’ '''動態頁面的模擬點擊: 模擬點擊斗魚直播:http://www.douyu.com/directory/all 爬取每頁房間名、直播類型、主播名稱、在線人數等數據,然后模擬點擊下一頁,繼續爬取''' from selenium import webdriverimport json # 調用環境變量指定的PhantomJS瀏覽器創建瀏覽器對象,executable_path:指定PhantomJS位置driver = webdriver.PhantomJS(executable_path = r'D:Program Filesphantomjsbinphantomjs')from bs4 import BeautifulSoup class DouyuSpider(object): ''' 爬蟲類 ''' def __init__(self): self.url = 'http://www.douyu.com/directory/all/' self.driver = webdriver.PhantomJS() self.file_name = open('douyu.json', 'w', encoding = 'utf-8') def run(self): ''' 爬蟲開始工作 ''' self.driver.get(self.url) # 循環處理每一頁,直至最后一頁 page = 1 start_flag = True while True: # 等待3秒,防止訪問過于頻繁 self.driver.implicitly_wait(3) print('正在處理第' + page + '頁......') page += 1 # 解析 soup = BeautifulSoup(self.driver.page_source, 'lxml') # 在線直播部分 online_live = soup.find_all(’ul’, {’id’: ’live-list-contentbox’})[0] # 房間列表 live_list = online_live.find_all(’li’) # 處理每一個房間 for live in live_list:# 房間名、直播類型、主播名稱、在線人數# 房間名home_name = live.find_all(’h3’, {’class’: ’ellipsis’})[0].get_text().strip()# 直播類型live_type = live.find_all(’span’, {’class’: ’tag ellipsis’})[0].get_text().strip()# 主播名稱anchor_name = live.find_all(’span’, {’class’: ’dy-name ellipsis fl’})[0].get_text().strip()# 在線人數online_num = live.find_all(’span’, {’class’ :’dy-num fr’})[0].get_text().strip()# print(home_name, live_type, anchor_name, online_num)item = {}item['房間名'] = home_nameitem['直播類型'] = live_typeitem['主播名稱'] = anchor_nameitem['在線人數'] = online_numif start_flag: start_flag = False content = '[n' + json.dumps(item)else: content = ',n' + json.dumps(item)self.file_name.write(content) # page_source.find()未找到內容則返回-1 if self.driver.page_source.find(’shark-pager-disable-next’) != -1:# 已到最后一頁break # 模擬點擊下一頁 self.driver.find_element_by_class_name(’shark-pager-next’).click() # 爬蟲結束前關閉文件 self.file_name.write('n]') self.file_name.close()if __name__ == ’__main__’: douyu = DouyuSpider() douyu.run()

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 欧美综合一区二区 | 国产精品美女久久久 | www.中文字幕.com | 日韩国产在线观看 | 久久爱黑人激情av摘花 | 女同久久另类99精品国产 | 美女午夜影院 | 天天搞天天操 | 日韩精品一区二区三区在线播放 | 一区二区三区精品视频 | 96久久久久久| 亚洲成人综合网站 | 中日av | 日本在线一区二区 | 成年女人免费v片 | 亚洲色欲色欲www | 欧美a级成人淫片免费看 | 色爱区综合 | 久久精品日产第一区二区三区 | av日韩在线播放 | 成人免费看片又大又黄 | 特级做a爰片毛片免费看108 | 91丨九色丨国产在线 | 综合色导航 | 美女国内精品自产拍在线播放 | 亚洲va欧美va天堂v国产综合 | 国产91精品久久久久久久网曝门 | 欧美日韩视频 | 久久久亚洲一区 | 操久久 | 日韩中文一区二区三区 | 久久精品这里精品 | 91p在线观看 | 污免费网站 | 亚洲 欧美 综合 | 热久久久 | 国产精品日韩欧美一区二区三区 | 欧美成人精品激情在线观看 | 黄色一级免费 | 精品久久久久久 | 精品国产乱码久久久久久蜜柚 |