av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

快速一鍵生成Python爬蟲請求頭

瀏覽:4日期:2022-06-26 13:08:36

今天介紹個(gè)神奇的網(wǎng)站!堪稱爬蟲偷懶的神器!

我們在寫爬蟲,構(gòu)建網(wǎng)絡(luò)請求的時(shí)候,不可避免地要添加請求頭( headers ),以 mdn 學(xué)習(xí)區(qū)為例,我們的請求頭是這樣的:

快速一鍵生成Python爬蟲請求頭

一般來說,我們只要添加 user-agent 就能滿足絕大部分需求了,Python 代碼如下:

import requestsheaders = { #’authority’: ’developer.mozilla.org’, #’pragma’: ’no-cache’, #’cache-control’: ’no-cache’, #’upgrade-insecure-requests’: ’1’, ’user-agent’: ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36’, #’accept’: ’text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3’, #’accept-encoding’: ’gzip, deflate, br’, #’accept-language’: ’zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6’, #’cookie’: 你的cookie,}response = requests.get(’https://developer.mozilla.org/zh-CN/docs/learn’, headers=headers)

但是有些請求,我們要把特定的 headers 參數(shù)添加上才能獲得正確的網(wǎng)絡(luò)響應(yīng),不知道哪個(gè)參數(shù)是必要的情況下,就要先把所有參數(shù)都添加上,再逐個(gè)排除。

但是手動(dòng)復(fù)制粘貼 headers 字典里的每一個(gè)鍵值對太費(fèi)事了

一個(gè)不那么方便的解決方案:

用正則表達(dá)式或者直接字符串替換,把 headers 字符串直接轉(zhuǎn)化為字典,封裝成函數(shù)方便以后反復(fù)調(diào)用。

有的人喜歡用這種方法,每次復(fù)制headers信息,然后調(diào)用自己封裝好的函數(shù),但我覺得還是挺麻煩的。

那么還有沒有快速一鍵生成 Python 爬蟲請求頭的方法呢?這里給大家介紹兩個(gè):

網(wǎng)站在線轉(zhuǎn)換 Postman實(shí)戰(zhàn)演練

抓取網(wǎng)站:https://developer.mozilla.org...

網(wǎng)站在線轉(zhuǎn)換

1,Chrome 打開開發(fā)者選項(xiàng)( f12 )---> network 選項(xiàng)卡 ---> 刷新頁面,獲取請求 ---> 找到頁面信息對應(yīng)的請求 (通過請求的名稱、后綴和 response 內(nèi)容來判斷)

快速一鍵生成Python爬蟲請求頭

2,右鍵,copy ---> copy as cURL (bash),注意不是【copy as cURL (cmd)】

快速一鍵生成Python爬蟲請求頭

3,打開網(wǎng)站,https://curl.trillworks.com/,粘貼 cURL (bash) 到左邊 curl command,右邊會(huì)自動(dòng)出 Python 代碼

快速一鍵生成Python爬蟲請求頭

4,生成代碼如下圖

快速一鍵生成Python爬蟲請求頭

5,print ( response.text ) 就可以直接打印網(wǎng)頁源代碼啦!

Postman

1,下載 postman ( Chrome 也有個(gè) postman 的插件,操作應(yīng)該差不多)

2,打開 postman,彈出的界面可以直接關(guān)掉

快速一鍵生成Python爬蟲請求頭

3,import --> paste raw text,在 Chrome 里復(fù)制 curl (bash),粘貼到下面的對話框里,點(diǎn)擊 import 按鈕

快速一鍵生成Python爬蟲請求頭

4,點(diǎn)擊 send,模擬網(wǎng)絡(luò)請求,下方可查看源代碼

快速一鍵生成Python爬蟲請求頭

5,確保源代碼正常后,點(diǎn)擊 code

快速一鍵生成Python爬蟲請求頭

6,左上角可以選擇編程語言,右上角復(fù)制到剪貼板

快速一鍵生成Python爬蟲請求頭

大功告成!

其實(shí)我本人平時(shí)都是用第一種,網(wǎng)站比較穩(wěn)定,基本沒出現(xiàn)過異常;有了這個(gè)神器就不用自己再構(gòu)造請求頭了,先一鍵生成,然后再根據(jù)需求調(diào)一調(diào)就好了,幾秒鐘就搞定了。

以上就是快速一鍵生成Python爬蟲請求頭的詳細(xì)內(nèi)容,更多關(guān)于快速一鍵生成Python爬蟲請求頭的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 在线视频a | 国产在线精品一区二区 | 婷婷丁香在线视频 | 国产一区91精品张津瑜 | 午夜在线小视频 | 麻豆av网站 | 欧美久久久久久久久中文字幕 | 久一久| 伊人网伊人网 | 九九伊人sl水蜜桃色推荐 | 水蜜桃久久夜色精品一区 | 男女羞羞免费视频 | 成人在线免费电影 | 国产精品免费一区二区三区四区 | 97天天干| 亚洲一区二区免费 | 国产精品久久久久影院色老大 | 日日艹夜夜艹 | 不卡视频一区 | 91精品一区| 懂色av蜜桃av| 精品小视频 | 激情五月婷婷 | 一区二区中文 | 久久宗合色 | 亚洲在线一区二区 | 久草精品视频 | 视频在线h | 91麻豆精品国产91久久久久久 | www久| 丁香五月网久久综合 | 中文字幕国产视频 | 中文字幕在线一区二区三区 | 日日夜夜天天 | 久久99精品国产麻豆婷婷 | 国产成在线观看免费视频 | 在线播放中文字幕 | 国产精品性做久久久久久 | 亚洲精品欧美一区二区三区 | 99精品亚洲国产精品久久不卡 | 色综合久|