av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)

瀏覽:2日期:2022-06-21 16:41:32
一、前言

利用selenium+requests訪問頁面爬取拉勾網(wǎng)招聘信息

二、分析url

觀察頁面可知,頁面數(shù)據(jù)屬于動態(tài)加載 所以現(xiàn)在我們通過抓包工具,獲取數(shù)據(jù)包

python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)

觀察其url和參數(shù)

url='https://www.lagou.com/jobs/positionAjax.json?px=default&needAddtionalResult=false'參數(shù):city=%E5%8C%97%E4%BA%AC ==》城市first=true ==》無用pn=1 ==》頁數(shù)kd=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90 ==》商品關(guān)鍵詞

所以我們要想實(shí)現(xiàn)全站爬取,需要有city和頁數(shù)

三、獲取所有城市和頁數(shù)

我們打開拉勾網(wǎng),觀察后發(fā)現(xiàn),他的數(shù)據(jù)并不是完全展示的,比如說 在城市篩選選擇全國 僅僅只顯示30頁 但總頁數(shù)是遠(yuǎn)遠(yuǎn)大于30頁的;我又選擇北京發(fā)現(xiàn)是30頁又選擇北京下的海淀區(qū)又是30頁,可能我們無法把數(shù)據(jù)全部的爬取,但我們可以盡可能的將數(shù)據(jù)多的爬取

python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)

我們?yōu)榱双@取全站數(shù)據(jù),必然離不開的有兩個(gè)參數(shù) 一個(gè)是城市一個(gè)是頁數(shù),所以我們利用selenium自動化去獲取所有城市和對應(yīng)頁數(shù)

def City_Page(self): City_Page={} url='https://www.lagou.com/jobs/allCity.html?keyword=%s&px=default&companyNum=0&isCompanySelected=false&labelWords='%(self.keyword) self.bro.get(url=url) sleep(30) print('開始獲取城市及其最大頁數(shù)') if '驗(yàn)證系統(tǒng)' in self.bro.page_source:sleep(40) html = etree.HTML(self.bro.page_source) city_urls = html.xpath(’//table[@class='word_list']//li/input/@value’) for city_url in city_urls:try: self.bro.get(city_url) if '驗(yàn)證系統(tǒng)' in self.bro.page_source:sleep(40) city=self.bro.find_element_by_xpath(’//a[@class='current_city current']’).text page=self.bro.find_element_by_xpath(’//span[@class='span totalNum']’).text City_Page[city]=page sleep(0.5)except: pass self.bro.quit() data = json.dumps(City_Page) with open('city_page.json', ’w’, encoding='utf-8')as f:f.write(data) return City_Page四、生成params參數(shù)

我們有了每個(gè)城市對應(yīng)的最大頁數(shù),就可以生成訪問頁面所需的參數(shù)

def Params_List(self): with open('city_page.json', 'r')as f:data = json.loads(f.read()) Params_List = [] for a, b in zip(data.keys(), data.values()):for i in range(1, int(b) + 1): params = {’city’: a,’pn’: i,’kd’: self.keyword } Params_List.append(params) return Params_List五、獲取數(shù)據(jù)

最后我們可以通過添加請求頭和使用params url來訪問頁面獲取數(shù)據(jù)

def Parse_Data(self,params): url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' header={’referer’: ’https://www.lagou.com/jobs/list_%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90?labelWords=&fromSearch=true&suginput=’,’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36’,’cookie’:’’ } try:text = requests.get(url=url, headers=header, params=params).textif '頻繁' in text: print('操作頻繁,已被發(fā)現(xiàn) 當(dāng)前為第%d個(gè)params'%(i))data=json.loads(text)result=data['content']['positionResult']['result']for res in result: with open('.//lagou1.csv', 'a',encoding='utf-8') as f:writer = csv.DictWriter(f, res.keys())writer.writerow(res)sleep(1) except Exception as e:print(e)pass六、總結(jié)

盡管數(shù)據(jù)只顯示前30頁,但數(shù)據(jù)還是未完全獲取

在利用selenium獲取城市最大頁數(shù)時(shí) 應(yīng)手動登錄拉勾網(wǎng),并且其在訪問過程中可能會出現(xiàn)驗(yàn)證系統(tǒng)需要驗(yàn)證

利用requests訪問頁面獲取數(shù)據(jù)時(shí) 盡量sleep時(shí)間長一點(diǎn),操作頻繁會封IP

到此這篇關(guān)于python爬蟲之利用Selenium+Requests爬取拉勾網(wǎng)的文章就介紹到這了,更多相關(guān)Selenium+Requests爬取拉勾網(wǎng)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 91亚洲精品在线 | 美日韩在线 | 成人aaa| 欧美片网站yy | 综合色婷婷一区二区亚洲欧美国产 | 亚洲三级黄色片 | 欧美激情一区二区三区 | 自拍视频一区 | 成人一区二区三区在线 | 国产精品海角社区 | 手机在线播放av | 国产一区精品在线观看 | 亚洲网站在线 | 亚洲影视一区 | 一区久久 | 久久免费精品视频 | 久久在线免费视频 | 亚洲欧美综合网 | 欧美天堂在线 | 丰满少妇高潮无套内谢 | 99久久综合 | www.4hu95.com四虎 丰满岳乱妇一区二区 | 国产一区在线视频 | 成人av一区二区三区在线观看 | 少妇视频在线观看 | 国产激情在线视频 | 天天操网 | 日韩色在线 | 欧美久久网 | 97国产精品 | 国产免费一区二区三区 | 在线观看国产一区 | 欧美精品久 | 黄视频网站在线观看 | 欧美成人综合 | 欧美一区不卡 | 国产精品日韩在线 | 亚洲综合伊人 | 一级免费片 | 美女黄色免费网站 | 国产69精品久久久久久 |