av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python爬取代理ip的示例

瀏覽:6日期:2022-07-01 17:33:38

要寫爬蟲爬取大量的數據,就會面臨ip被封的問題,雖然可以通過設置延時的方法來延緩對網站的訪問,但是一旦訪問次數過多仍然會面臨ip被封的風險,這時我們就需要用到動態的ip地址來隱藏真實的ip信息,如果做爬蟲項目,建議選取一些平臺提供的動態ip服務,引用api即可。目前國內有很多提供動態ip的平臺,普遍價格不菲,而對于只想跑個小項目用來學習的話可以參考下本篇文章。

簡述

本篇使用簡單的爬蟲程序來爬取免費ip網站的ip信息并生成json文檔,存儲可用的ip地址,寫其它爬取項目的時候可以從生成的json文檔中提取ip地址使用,為了確保使用的ip地址的有效性,建議對json文檔中的ip現爬現用,并且在爬取時對ip有效性的時間進行篩選,只爬取時長較長、可用的ip地址存儲。

實現

使用平臺https://www.xicidaili.com/nn/來作為數據源,通過對http://www.baidu.com/的相應來判斷ip的可使用性。引用lxml模塊來對網頁數據進行提取,當然也可以使用re模塊來進行匹配提取,這里只使用lxml模塊對數據進行提取。訪問https://www.xicidaili.com/nn/數據源,并且啟動Fiddler對瀏覽器數據進行監聽,我這里瀏覽器采用的是Proxy SwitchyOmega插件來配合Fiddler進行使用,在Fiddler找到/nn/*數據查看User-Agent信息并復制下來作為我們訪問的頭文件。如圖:

python爬取代理ip的示例

引入模塊

import requestsfrom lxml import etreeimport timeimport json

獲取所有數據

def get_all_proxy(page): url = ’https://www.xicidaili.com/nn/%s’%page headers = { ’User-Agent’: ’Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36’, } response = requests.get(url, headers=headers) html_ele = etree.HTML(response.text) ip_eles = html_ele.xpath(’//table[@id='ip_list']/tr/td[2]/text()’) port_ele = html_ele.xpath(’//table[@id='ip_list']/tr/td[3]/text()’) print(ip_eles) proxy_list = [] for i in range(0,len(ip_eles)): check_all_proxy(ip_eles[i],port_ele[i]) return proxy_list

對數據進行篩選:

def check_all_proxy(host,port): type = ’http’ proxies = {} proxy_str = '%s://@%s:%s' % (type, host, port) valid_proxy_list = [] url = ’http://www.baidu.com/’ proxy_dict = { ’http’: proxy_str, ’https’: proxy_str } try: start_time = time.time() response = requests.get(url, proxies=proxy_dict, timeout=5) if response.status_code == 200:end_time = time.time()print(’代理可用:’ + proxy_str)print(’耗時:’ + str(end_time - start_time))proxies[’type’] = typeproxies[’host’] = hostproxies[’port’] = portproxiesJson = json.dumps(proxies)with open(’verified_y.json’, ’a+’) as f: f.write(proxiesJson + ’n’)print('已寫入:%s' % proxy_str)valid_proxy_list.append(proxy_str) else:print(’代理超時’) except: print(’代理不可用--------------->’+proxy_str)

運行程序:

if __name__ == ’__main__’: for i in range(1,11): #選取前十頁數據使用 proxy_list = get_all_proxy(i) time.sleep(20) print(valid_proxy_list)

生成的json文件:

python爬取代理ip的示例

以上就是python爬取代理ip的示例的詳細內容,更多關于python爬取代理ip的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 久久久久国产一区二区三区 | 欧美久久久久久 | 日日躁狠狠躁aaaaxxxx | www.亚洲精品 | av片免费观看 | 免费在线观看一区二区三区 | 欧美精品在线播放 | 91最新在线视频 | 久久久久国产成人精品亚洲午夜 | 91在线播 | 成人免费久久 | 中文字幕视频在线观看免费 | 中午字幕在线观看 | 日韩精品一区二区三区 | 欧美一级片在线观看 | 欧美视频一区二区三区 | 久久久久久黄 | 国产精品久久久久久久久久久久久久 | 精品国产31久久久久久 | 亚洲精品日本 | 国产精品视频一区二区三区四区国 | 欧美在线一区二区三区 | 91在线精品一区二区 | 亚洲欧美中文日韩在线v日本 | 色综合天天天天做夜夜夜夜做 | 中文日韩字幕 | 黄色一级视频免费 | 国产成人a亚洲精品 | 欧美色综合一区二区三区 | 日韩欧美一区二区三区在线播放 | 免费在线观看成人 | 高清亚洲 | 麻豆changesxxx国产| 国产日韩欧美电影 | 金莲网 | 日韩欧美在线不卡 | 欧洲一区二区三区 | 日日噜噜噜夜夜爽爽狠狠视频, | 射欧美| 亚洲精品视频久久 | 麻豆91精品91久久久 |