av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python爬蟲調度器用法及實例代碼

瀏覽:6日期:2022-07-03 16:26:17

我們一般使用爬蟲看到的都是最后的數據結果,對于整個的獲取過程沒有過多了解過。對于初學python的小伙伴們來說,不光是代碼的練習,還是原理的分析都是必不可少的。

小編把整個爬取的過程分為了幾個部分,從一開始的下載,到數據的去重解析,再到整個爬蟲循環的結束,以圖片和代碼的雙重形式展現給大家,希望能夠對爬蟲調度器有一個深刻的理解。

我們可以編寫幾個元件,每個元件完成一項功能,下圖中的藍底白字就是對這一流程的抽象:

python爬蟲調度器用法及實例代碼

UrlManager:將存儲和獲取url以及url去重的幾個步驟在url管理器中完成(當然也可以針對每一步分別編寫相應的函數,但是這樣更直觀)。url管理器要有兩個url倉庫,一個存儲未爬取的url,一個存儲已爬取的url,除了倉庫之外,還應該具有一些完成特定功能的函數,如存儲url、url去重、從倉庫中挑選并返回一個url等 HtmlDownloader:將下載網頁內容的功能在HTML下載器中完成,下載器的功能較為單一,不多解釋。但從整個爬蟲的角度上來說,下載器是爬蟲的核心,在實際操作的過程中,下載器要和目標網站的各種反爬蟲手段斗智斗勇(各種表單、隱藏字段和假鏈接、驗證碼、IP限制等等),這也是最耗費大腦的步驟 HtmlParser:解析提取數據的功能在HTML解析器中完成,解析器內的函數應該分別具有返回數據和新url的功能 DAtaOutput:存儲數據的功能由數據存儲器完成 SpiderMan:主循環由爬蟲調度器來完成,調度器為整個程序的入口,將其余四個元件有序執行

爬蟲調度器將要完成整個循環,下面寫出python下爬蟲調度器的程序:

# coding: utf-8new_urls = set()data = {}class SpiderMan(object): def __init__(self): #調度器內包含其它四個元件,在初始化調度器的時候也要建立四個元件對象的實例 self.manager = UrlManager() self.downloader = HtmlDownloader() self.parser = HtmlParser() self.output = DataOutput() def spider(self, origin_url): #添加初始url self.manager.add_new_url(origin_url) #下面進入主循環,暫定爬取頁面總數小于100 num = 0 while(self.manager.has_new_url() and self.manager.old_url_size()<100): try: num = num + 1 print '正在處理第{}個鏈接'.format(num) #從新url倉庫中獲取url new_url = self.manager.get_new_url() #調用html下載器下載頁面 html = self.downloader.download(new_url) #調用解析器解析頁面,返回新的url和data try: new_urls, data = self.parser.parser(new_url, html) except Exception, e: print e for url in new_urls: self.manager.add_new_url(url) #將已經爬取過的這個url添加至老url倉庫中 self.manager.add_old_url(new_url) #將返回的數據存儲至文件 self.output.store_data(data) print 'store data succefully' print '第{}個鏈接已經抓取完成'.format(self.manager.old_url_size()) except Exception, e: print e #爬取循環結束的時候將存儲的數據輸出至文件 self.output.output_html()

從整個循環的流程我們可以看出,由爬蟲調度器指揮四個元件完成數據的抓取、篩選、保存流程,并以此為基礎還可以進行新的循環??炊碇?,我們就可以使用以上的代碼進行實戰啦。

到此這篇關于python爬蟲調度器用法及實例代碼的文章就介紹到這了,更多相關python爬蟲調度器是什么內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 精品成人免费视频 | 国产成人精品久久 | 中文字幕在线观看一区 | 天堂视频中文在线 | 日韩午夜一区二区三区 | 欧美日韩高清一区二区三区 | 精品欧美一区二区三区免费观看 | 亚洲成人午夜电影 | 日韩一级黄色片 | com.色.www在线观看 | 龙珠z在线观看 | 亚洲激情网站 | 亚洲综合激情 | 日日操夜夜操天天操 | 欧美一级在线观看 | 日日夜夜免费精品视频 | 欧美激情久久久 | 91精品国产综合久久久亚洲 | 一区二区三区成人 | 久久综合九色综合欧美狠狠 | 一区二区三区四区不卡 | 综合久久av | 欧美一区二区在线 | 日本中出视频 | 亚洲国产精品久久 | 一区二区三区亚洲精品国 | 日韩欧美精品 | 欧美一级欧美一级在线播放 | 一级片在线观看 | 成年人网站免费 | 国产精品日韩欧美一区二区三区 | 免费一级片 | 一区二区三区在线电影 | 亚洲欧美国产精品一区二区 | 中国三级黄色录像 | 国产精品乱码一区二区三区 | 青青久在线视频 | 亚洲一区二区三区久久久 | 免费国产视频 | 日韩不卡视频在线观看 | 激情伊人网 |