av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

Python爬蟲requests庫多種用法實例

瀏覽:34日期:2022-07-24 10:21:09

requests安裝和使用

下載安裝:pip install requests

#requests模塊import requests#發(fā)送請求 content:以二進制的形式獲取網頁的內容response=requests.get('http://www.baidu.com').content.decode()#response=requests.request('get','http://www.baidu.com').content.decode()print(response)

添加請求頭和參數

import requestsurl='http://www.baidu.com/s?'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}wd={'wd':'中國'}response=requests.get(url,params=wd,headers=headers)# 返回一個字符串形式的數據data=response.text# 返回一個二進制形式的數據data2=response.contentprint(data2.decode())

處理Post請求

處理get請求:get()方法

處理post請求:post()方法

import requestsimport re#構造請求頭信息header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}#谷歌瀏覽器#http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule 網頁上的urlurl='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'key='靚仔'#發(fā)送到web服務器的表單數據formdata={'i':key,'from':'AUTO','to':'AUTO','smartresult':'dict','client':'fanyideskweb','salt':'15880563488791','sign':'cc2c40d740538fc5edc0380891faef27','ts':'1588053583943','bv':'f9c86b1fdf2f53c1fefaef343285247b','doctype':'json','version':'2.1','keyfrom':'fanyi.web','action':'FY_BY_REALTlME'}response=requests.post(url,headers=header,data=formdata)# 獲取到的是json數據# 對應的是字典# print(response.json())pat=r’'tgt':'(.*?)'}]]’ #字符串中有'',再用’’括起來表示字符串# 獲取到的是字符串result=re.findall(pat,response.text)print(result[0])

代理IP

import requests#設置ip地址#proxy={'http':'http://代理ip地址:端口號'}#可以設置多個proxy={'http':'http://222.82.130.23:8060','http':'http://101.248.64.68:80',}response=requests.get('http://www.baidu.com',proxies=proxy)print(response.content.decode())

獲取響應的cookie

cookie:用戶信息

import requestsresponse=requests.get('http://www.baidu.com')#1.獲取返回的cooketjar對象cookiejar=response.cookies#2.將cookiejar轉換成字典cookiedict=requests.utils.dict_from_cookiejar(cookiejar)print(cookiedict)

session實現(xiàn)登陸

相比直接使用cookie,創(chuàng)建session可以得到新的cookie信息,不會出現(xiàn)cookie失效的情況

#使用session實現(xiàn)登陸import requests#構造請求頭信息header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36'}#谷歌瀏覽器#創(chuàng)建session對象ses=requests.session()#構造登陸需要的參數data={'email':'325*****@qq.com','password':'123321a'}#通過傳遞用戶名密碼得到cookie信息ses.post('http://www.renren.com/PLogin.do',data=data,headers=header)#請求需要的頁面,每次請求會帶入cookie信息response=ses.get('http://www.renren.com/880151247/profile')print(response.text)

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 一区二区成人 | 亚洲第一色站 | 精品久久久久国产 | 人人艹人人 | 欧美日韩免费一区二区三区 | a免费视频 | 欧洲av在线 | 热久色| 国产精品有限公司 | 99精品99| 免费看黄色小视频 | 懂色中文一区二区三区在线视频 | 亚洲国产精品一区二区久久 | 久久精品亚洲精品国产欧美 | 久久免费视频1 | 国产精品成人久久久久 | 久久久久久成人 | 人人干人人玩 | 国产亚洲精品精品国产亚洲综合 | 91中文字幕| 午夜在线视频一区二区三区 | av中文在线| 久久日韩精品一区二区三区 | 日韩久久中文字幕 | 日韩一区二区三区精品 | 亚洲一区亚洲二区 | 精品毛片在线观看 | 六月婷婷久久 | 日韩久久久一区二区 | 久久精品性视频 | 亚洲欧美视频在线观看 | 久久久91精品国产一区二区三区 | 中文二区 | 国产精品成人久久久久a级 久久蜜桃av一区二区天堂 | 99国产精品视频免费观看一公开 | 欧美片网站免费 | 久久精品国产一区二区电影 | 成人超碰在线 | 天天干天天插 | 青青草综合网 | 天天射色综合 |