av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

python基于concurrent模塊實現(xiàn)多線程

瀏覽:4日期:2022-06-22 10:27:08
引言

之前也寫過多線程的博客,用的是 threading ,今天來講下 python 的另外一個自帶庫 concurrent 。concurrent 是在 Python3.2 中引入的,只用幾行代碼就可以編寫出線程池/進程池,并且計算型任務效率和 mutiprocessing.pool 提供的 poll 和 ThreadPoll 相比不分伯仲,而且在 IO 型任務由于引入了 Future 的概念效率要高數(shù)倍。而 threading 的話還要自己維護相關的隊列防止死鎖,代碼的可讀性也會下降,相反 concurrent 提供的線程池卻非常的便捷,不用自己操心死鎖以及編寫線程池代碼,由于異步的概念 IO 型任務也更有優(yōu)勢。

concurrent 的確很好用,主要提供了 ThreadPoolExecutor 和 ProcessPoolExecutor 。一個多線程,一個多進程。但 concurrent 本質(zhì)上都是對 threading 和 mutiprocessing 的封裝。看它的源碼可以知道,所以最底層并沒有異步。ThreadPoolExecutor 自己提供了任務隊列,不需要自己寫了。而所謂的線程池,它只是簡單的比較當前的 threads 數(shù)量和定義的 max_workers 的大小,小于 max_workers 就允許任務創(chuàng)建線程執(zhí)行任務。

操作多線程/多進程1、創(chuàng)建線程池

通過 ThreadPoolExecutor 類創(chuàng)建線程池對象,max_workers 設置最大運行線程數(shù)數(shù)。使用 ThreadPoolExecutor 的好處是不用擔心線程死鎖問題,讓多線程編程更簡潔。

from concurrent import futurespool = futures.ThreadPoolExecutor(max_workers = 2)2、submit

submit(self, fn, *args, **kwargs):

fn:需要異步執(zhí)行的函數(shù) *args,**kwargs:fn 接受的參數(shù)

該方法的作用就是提交一個可執(zhí)行的回調(diào)task,它返回一個Future對象。可以看出此方法不會阻塞主線程的執(zhí)行。

import requests,datetime,timefrom concurrent import futuresdef get_request(url): r = requests.get(url) print(’{}:{} {}’.format(datetime.datetime.now(),url,r.status_code))urls = [’https://www.baidu.com’,’https://www.tmall.com’,’https://www.jd.com’]pool = futures.ThreadPoolExecutor(max_workers = 2)for url in urls: task = pool.submit(get_request,url)print(’{}主線程’.format(datetime.datetime.now()))time.sleep(2)# 輸出結(jié)果2021-03-12 15:29:10.780141:主線程2021-03-12 15:29:10.865425:https://www.baidu.com 2002021-03-12 15:29:10.923062:https://www.tmall.com 2002021-03-12 15:29:10.940930:https://www.jd.com 2003、map

map(self, fn, *iterables, timeout=None, chunksize=1):

fn:需要異步執(zhí)行的函數(shù) *iterables:可迭代對象

map 第二個參數(shù)是可迭代對象,比如 list、tuple 等,寫法相對簡單。map 方法也不會阻塞主線程的執(zhí)行。

import requests,datetime,timefrom concurrent import futuresdef get_request(url): r = requests.get(url) print(’{}:{} {}’.format(datetime.datetime.now(),url,r.status_code))urls = [’https://www.baidu.com’,’https://www.tmall.com’,’https://www.jd.com’]pool = futures.ThreadPoolExecutor(max_workers = 2)tasks = pool.map(get_request,urls)print(’{}:主線程’.format(datetime.datetime.now()))time.sleep(2)# 輸出結(jié)果2021-03-12 16:14:04.854452:主線程2021-03-12 16:14:04.938870:https://www.baidu.com 2002021-03-12 16:14:05.033849:https://www.jd.com 2002021-03-12 16:14:05.048952:https://www.tmall.com 2004、wait

如果要等待子線程執(zhí)行完之后再執(zhí)行主線程要怎么辦呢,可以通過 wait 。

wait(fs, timeout=None, return_when=ALL_COMPLETED):

fs:所有任務 tasks return_when:有三個參數(shù) FIRST_COMPLETED:只要有一個子線程完成則返回結(jié)果。 FIRST_EXCEPTION:只要有一個子線程拋異常則返回結(jié)果,若沒有異常則等同于ALL_COMPLETED。 ALL_COMPLETED:默認參數(shù),等待所有子線程完成。

import requests,datetime,timefrom concurrent import futuresdef get_request(url): r = requests.get(url) print(’{}:{} {}’.format(datetime.datetime.now(),url,r.status_code))urls = [’https://www.baidu.com’,’https://www.tmall.com’,’https://www.jd.com’]pool = futures.ThreadPoolExecutor(max_workers = 2)tasks =[]for url in urls: task = pool.submit(get_request,url) tasks.append(task)futures.wait(tasks)print(’{}:主線程’.format(datetime.datetime.now()))time.sleep(2)# 輸出結(jié)果2021-03-12 16:30:13.437042:https://www.baidu.com 2002021-03-12 16:30:13.552700:https://www.jd.com 2002021-03-12 16:30:14.117325:https://www.tmall.com 2002021-03-12 16:30:14.118284:主線程5、異常處理

as_completed(fs, timeout=None)

所有任務 tasks

使用 concurrent.futures 操作 多線程/多進程 過程中,很多函數(shù)報錯并不會直接終止程序,而是什么都沒發(fā)生。使用 as_completed 可以捕獲異常,代碼如下

import requests,datetime,timefrom concurrent import futuresdef get_request(url): r = requests.get(url) print(’{}:{} {}’.format(datetime.datetime.now(),url,r.status_code))urls = [’www.baidu.com’,’https://www.tmall.com’,’https://www.jd.com’]# 創(chuàng)建線程池pool = futures.ThreadPoolExecutor(max_workers = 2)tasks =[]for url in urls: task = pool.submit(get_request,url) tasks.append(task)# 異常捕獲 errors = futures.as_completed(tasks)for error in errors: # error.result() 等待子線程都完成,并拋出異常,中斷主線程 # 捕獲子線程異常,不會終止主線程繼續(xù)運行 print(error.exception())futures.wait(tasks)print(’{}:主線程’.format(datetime.datetime.now()))time.sleep(2)# 輸出結(jié)果Invalid URL ’www.baidu.com’: No schema supplied. Perhaps you meant http://www.baidu.com?2021-03-12 17:24:26.984933:https://www.tmall.com 200None2021-03-12 17:24:26.993939:https://www.jd.com 200None2021-03-12 17:24:26.994937:主線程

多進程編程也類似,將 ThreadPoolExecutor 替換成 ProcessPoolExecutor 。

以上就是python基于concurrent模塊實現(xiàn)多線程的詳細內(nèi)容,更多關于python concurrent實現(xiàn)多線程的資料請關注好吧啦網(wǎng)其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 久久视频免费观看 | 久久不卡 | 国产一区二区中文字幕 | 欧美视频二区 | 欧美精品一区三区 | aaa级片| 久久久久亚洲av毛片大全 | 一级无毛片| 97精品超碰一区二区三区 | 欧美成人黄色小说 | 在线中文字幕亚洲 | 免费激情网站 | 仙人掌旅馆在线观看 | 黄片毛片在线观看 | 日韩成人免费视频 | 日韩高清一区二区 | 国产区在线观看 | 久久曰视频| 日韩中文字幕视频 | 超碰人人人人 | 国产精品久久久久免费 | 中文字幕在线免费观看 | 国产精品福利久久久 | 久久人体 | 国产精品大片在线观看 | 国产成人免费视频网站高清观看视频 | 午夜在线视频 | 国产成人网 | 成人久草 | a级片在线| 亚洲人va欧美va人人爽 | 国产不卡视频在线 | 久久久天天 | 999热精品视频 | 在线视频国产一区 | 99久久精品免费看国产四区 | h视频在线播放 | 精品一区电影 | 亚洲福利网 | 国产日韩一区二区三免费高清 | 一二区视频 |