av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

快速一鍵生成Python爬蟲請求頭

瀏覽:4日期:2022-06-26 13:08:36

今天介紹個(gè)神奇的網(wǎng)站!堪稱爬蟲偷懶的神器!

我們在寫爬蟲,構(gòu)建網(wǎng)絡(luò)請求的時(shí)候,不可避免地要添加請求頭( headers ),以 mdn 學(xué)習(xí)區(qū)為例,我們的請求頭是這樣的:

快速一鍵生成Python爬蟲請求頭

一般來說,我們只要添加 user-agent 就能滿足絕大部分需求了,Python 代碼如下:

import requestsheaders = { #’authority’: ’developer.mozilla.org’, #’pragma’: ’no-cache’, #’cache-control’: ’no-cache’, #’upgrade-insecure-requests’: ’1’, ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36’, #’accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3’, #’accept-encoding’: ’gzip, deflate, br’, #’accept-language’: ’zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6’, #’cookie’: 你的cookie,}response = requests.get(’https://developer.mozilla.org/zh-CN/docs/learn’, headers=headers)

但是有些請求,我們要把特定的 headers 參數(shù)添加上才能獲得正確的網(wǎng)絡(luò)響應(yīng),不知道哪個(gè)參數(shù)是必要的情況下,就要先把所有參數(shù)都添加上,再逐個(gè)排除。

但是手動(dòng)復(fù)制粘貼 headers 字典里的每一個(gè)鍵值對太費(fèi)事了

一個(gè)不那么方便的解決方案:

用正則表達(dá)式或者直接字符串替換,把 headers 字符串直接轉(zhuǎn)化為字典,封裝成函數(shù)方便以后反復(fù)調(diào)用。

有的人喜歡用這種方法,每次復(fù)制headers信息,然后調(diào)用自己封裝好的函數(shù),但我覺得還是挺麻煩的。

那么還有沒有快速一鍵生成 Python 爬蟲請求頭的方法呢?這里給大家介紹兩個(gè):

網(wǎng)站在線轉(zhuǎn)換 Postman實(shí)戰(zhàn)演練

抓取網(wǎng)站:https://developer.mozilla.org...

網(wǎng)站在線轉(zhuǎn)換

1,Chrome 打開開發(fā)者選項(xiàng)( f12 )---> network 選項(xiàng)卡 ---> 刷新頁面,獲取請求 ---> 找到頁面信息對應(yīng)的請求 (通過請求的名稱、后綴和 response 內(nèi)容來判斷)

快速一鍵生成Python爬蟲請求頭

2,右鍵,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一鍵生成Python爬蟲請求頭

3,打開網(wǎng)站,https://curl.trillworks.com/,粘貼 cURL (bash) 到左邊 curl command,右邊會(huì)自動(dòng)出 Python 代碼

快速一鍵生成Python爬蟲請求頭

4,生成代碼如下圖

快速一鍵生成Python爬蟲請求頭

5,print ( response.text ) 就可以直接打印網(wǎng)頁源代碼啦!

Postman

1,下載 postman ( Chrome 也有個(gè) postman 的插件,操作應(yīng)該差不多)

2,打開 postman,彈出的界面可以直接關(guān)掉

快速一鍵生成Python爬蟲請求頭

3,import --> paste raw text,在 Chrome 里復(fù)制 curl (bash),粘貼到下面的對話框里,點(diǎn)擊 import 按鈕

快速一鍵生成Python爬蟲請求頭

4,點(diǎn)擊 send,模擬網(wǎng)絡(luò)請求,下方可查看源代碼

快速一鍵生成Python爬蟲請求頭

5,確保源代碼正常后,點(diǎn)擊 code

快速一鍵生成Python爬蟲請求頭

6,左上角可以選擇編程語言,右上角復(fù)制到剪貼板

快速一鍵生成Python爬蟲請求頭

大功告成!

其實(shí)我本人平時(shí)都是用第一種,網(wǎng)站比較穩(wěn)定,基本沒出現(xiàn)過異常;有了這個(gè)神器就不用自己再構(gòu)造請求頭了,先一鍵生成,然后再根據(jù)需求調(diào)一調(diào)就好了,幾秒鐘就搞定了。

以上就是快速一鍵生成Python爬蟲請求頭的詳細(xì)內(nèi)容,更多關(guān)于快速一鍵生成Python爬蟲請求頭的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 亚洲精久久 | 国产日韩中文字幕 | 欧美国产日韩一区 | 久在线精品视频 | 亚洲欧美日韩精品久久亚洲区 | 久久久久亚洲 | 91看片在线 | 久久精品国产v日韩v亚洲 | 日本欧美在线视频 | 高清18麻豆 | 五月天激情电影 | 国产wwwcom| 久久这里只有精品首页 | 国产午夜精品久久久久 | 欧美日韩一区精品 | 日韩欧美电影在线 | 免费观看的av毛片的网站 | 97视频人人澡人人爽 | 国产日韩一区二区三区 | 国产精品免费看 | 人人99| 日本三级电影在线看 | 日韩欧美中文在线 | 欧美一区二区三区在线观看 | 成人精品在线观看 | 欧美成人精品一区二区男人看 | 蜜桃av一区二区三区 | 女同av亚洲女人天堂 | 亚州精品天堂中文字幕 | 九九免费观看视频 | 国产精品1区2区3区 欧美 中文字幕 | 中文一区二区 | 精品三级在线观看 | 天天久久 | 亚洲精品视频导航 | 91网站在线观看视频 | 亚洲精品在线免费看 | 色毛片 | 日韩欧美专区 | 日韩一级黄色毛片 | 一级久久久久久 |