urllib 是 python 的內(nèi)置模塊， 主要用于處理url相關的一些操作，例如訪問url、解析url等操作。

urllib 包下面的 request 模塊主要用于訪問url，但是用得太多，因為它的光芒全都被 requests 這個第三方庫覆蓋了，最常用的還是 parse 模塊。 寫爬蟲過程中，經(jīng)常要對url進行參數(shù)的拼接、編碼、解碼，域名、資源路徑提取等操作，這時 parse 模塊就可以排上用場。

一、urlparse

urlparse 方法是把一個完整的URL拆分成不同的組成部分，你可以根據(jù)自己的需求提取其中的某部分內(nèi)容。 返回結果 ParseResult 是 namedtuple 的子類，由以下10部分組成，每部分既可以通過名字獲取也可以通過下表索引得到。

>>> from urllib import parse>>> url = ’https://mp.weixin.qq.com/s?__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923#rd’>>> result = parse.urlparse(url)# 返回ParseResult對象>>> print(result)ParseResult(scheme=’https’, netloc=’mp.weixin.qq.com’, path=’/s’, params=’’, query=’__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923’, fragment=’rd’)# 通過下標獲取協(xié)議>>> result[0]’https’# 協(xié)議>>> result.scheme’https’# url資源路徑>>> result.path’/s’# 查詢參數(shù)>>> result.query’__biz=MjM5MzgyODQxMQ==&mid=2650366919&idx=1&sn=1b36a9f2c0921cdeac52942ec591a923’# 獲取主機名>>> result.hostname’mp.weixin.qq.com’

二、parse_qs

parse_qs 方法是將查詢參數(shù)這部分內(nèi)容從字符串轉換成字典對象

>>> parse.parse_qs(result.query){’__biz’: [’MjM5MzgyODQxMQ==’], ’mid’: [’2650366919’], ’idx’: [’1’], ’sn’: [’1b36a9f2c0921cdeac52942ec591a923’]}>>>

每個參數(shù)名對應一個列表對象，這是因為在url規(guī)范中，一個參數(shù)名可以有多個值，例如： a=1&a=2，通常在實際應用場景中一般一個參數(shù)名只會對應一個值。

你可以用一行代碼將列表轉化為字符串

>>> {name: value[0] for name, value in parse.parse_qs(result.query).items()}{’__biz’: ’MjM5MzgyODQxMQ==’, ’mid’: ’2650366919’, ’idx’: ’1’, ’sn’: ’1b36a9f2c0921cdeac52942ec591a923’}

三、urlencode

反過來，如果將一個字典對象想轉換為url中的查詢參數(shù)，那么就可以使用urlencode方法。

>>> d = {’__biz’: ’MjM5MzgyODQxMQ==’, ’mid’: ’2650366919’, ’idx’: ’1’}>>> parse.urlencode(d)’__biz=MjM5MzgyODQxMQ%3D%3D&mid=2650366919&idx=1’

四、quote

在URL的標準規(guī)范中，url 只允許數(shù)字、字母和部分特殊符號的存在，如果有中文和某些特殊符號，就需要使用UTF-8進行編碼，將這些字符轉換成 %XX 的形式，例如: 【中】UTF-8編碼的結果是：

>>> '中'.encode()b’xe4xb8xad’

那么瀏覽器實際上會把【中】轉換成 %e4%b8%ad

在python中，就可以用 quote 方法進行URL編碼，對于特殊符號，也會進行成對應的16進制符號， 例如 【=】 就轉換成了 %3D 。

>>> parse.quote('q=中')’q%3D%E4%B8%AD’>>>

quote_plus 可以將空格編碼成“+”

>>> parse.quote_plus('a b')’a+b’>>> parse.quote('a b')’a%20b’

五、unquote

unquote 是 quote 的逆向過程，稱之為URL解碼，解碼方便開發(fā)者閱讀

>>> parse.unquote('q%3D%E4%B8%AD')’q=中’

以上就是詳解python內(nèi)置模塊urllib的詳細內(nèi)容，更多關于python內(nèi)置模塊urllib的資料請關注好吧啦網(wǎng)其它相關文章！