av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

Python通過正則庫爬取淘寶商品信息代碼實(shí)例

瀏覽:2日期:2022-08-04 18:12:50

使用正則庫爬取淘寶商品的商品信息,首先我們需要確定想要爬取的對象

我們在淘寶里搜索“python”,出來的結(jié)果

Python通過正則庫爬取淘寶商品信息代碼實(shí)例

從url連接中可以得到搜索商品的關(guān)鍵字是“q=”,所以我們要用的起始url為:https://s.taobao.com/search?q=python

然后翻頁,經(jīng)過對比發(fā)現(xiàn),翻頁后,變化的關(guān)鍵字是s,每次翻頁,s便以44的倍數(shù)增長(可以數(shù)一下每頁顯示的商品數(shù)量,剛好是44)所以可以根據(jù)關(guān)鍵字“s=”,來設(shè)置爬取的深度(爬取多少頁)

右鍵查看源碼,商品名稱可能的關(guān)鍵字是“title”和“raw_title”,進(jìn)一步多看幾個商品的名稱,發(fā)現(xiàn)選取“raw_title”比較合適;商品價(jià)格自然就是“view_price”(通過比對淘寶商品展示頁面);所以商品名稱和商品價(jià)格分別是以'raw_title':'名稱'和'view_price':'價(jià)格',這樣的鍵/值對的形式展示的。

# coding:utf-8import requestsimport regoods = ’水杯’url = ’https://s.taobao.com/search?q=’ + goodsr = requests.get(url=url, timeout=10)html = r.texttlist = re.findall(r’'raw_title':'.*?'’, html) # 正則提取商品名稱plist = re.findall(r’'view_price':'[d.]*'’, html) # 正則提示商品價(jià)格print(tlist)print(plist)print(type(plist)) # 正則表達(dá)式提取出的商品名稱和商品價(jià)格都是以列表形式存儲數(shù)據(jù)的

利用for循環(huán),把每個商品的名稱和價(jià)格組成一個列表,然后把這寫列表再追加到一個大列表中:

goodlist = []for i in range(len(tlist)): title = eval(tlist[i].split(’:’)[1]) # eval()函數(shù)簡單說就是用于去掉字符串的引號 price = eval(plist[i].split(’:’)[1]) goodlist.append([title, price]) # 把每個商品的名稱和價(jià)格組成一個小列表,然后把所有商品組成的列表追加到一個大列表中 print(goodlist)

大概的思路就是這樣的。

def get_html(url): '''獲取源碼html''' try: r = requests.get(url=url, timeout=10) r.encoding = r.apparent_encoding return r.text except: print('獲取失敗')def get_data(html, goodlist): '''使用re庫解析商品名稱和價(jià)格 tlist:商品名稱列表 plist:商品價(jià)格列表''' tlist = re.findall(r’'raw_title':'.*?'’, html) plist = re.findall(r’'view_price':'[d.]*'’, html) for i in range(len(tlist)): title = eval(tlist[i].split(’:’)[1]) # eval()函數(shù)簡單說就是用于去掉字符串的引號 price = eval(plist[i].split(’:’)[1]) goodlist.append([title, price])def write_data(list, num): # with open(’E:/Crawler/case/taob2.txt’, ’a’) as data: # print(list, file=data) for i in range(num): # num控制把爬取到的商品寫進(jìn)多少到文本中 u = list[i] with open(’E:/Crawler/case/taob.txt’, ’a’) as data: print(u, file=data)def main(): goods = ’水杯’ depth = 3 # 定義爬取深度,即翻頁處理 start_url = ’https://s.taobao.com/search?q=’ + goods infoList = [] for i in range(depth): try: url = start_url + ’&s=’ + str(44 * i) # 因?yàn)樘詫氾@示每頁44個商品,第一頁i=0,一次遞增 html = get_html(url) get_data(html, infoList) except: continue write_data(infoList, len(infoList))if __name__ == ’__main__’: main()

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: 淘寶 Python
相關(guān)文章:
主站蜘蛛池模板: 91麻豆精品国产91久久久久久久久 | 国产欧美一区二区三区另类精品 | 99精品免费在线观看 | 欧美精品欧美精品系列 | 久一精品 | 欧美一级片在线看 | 欧美一区二区三区在线 | 欧美精品福利视频 | 成人毛片视频免费 | 国产精品一区二区三区在线 | 在线观看免费黄色片 | 91欧美精品成人综合在线观看 | 日韩精品一区二区不卡 | 美女一级a毛片免费观看97 | 国产三级在线观看播放 | 久久天天躁狠狠躁夜夜躁2014 | 一区二区三区国产 | 伊色综合久久之综合久久 | 日日操日日干 | 久久久久久国产免费视网址 | 国产精品18久久久久久白浆动漫 | 亚洲精品自在在线观看 | 天天综合成人网 | 亚洲视频免费在线观看 | 国产成人精品一区二区三区四区 | 久久r久久| 91欧美激情一区二区三区成人 | 在线看av的网址 | 日韩美av| 久久久久久免费免费 | 在线午夜 | 日韩欧美在线视频播放 | 日本亚洲欧美 | 欧美日韩专区 | 日韩成人高清 | 欧美一级二级视频 | 在线一级片 | 亚洲狠狠丁香婷婷综合久久久 | 天堂一区二区三区 | 欧美性一区二区三区 | 亚洲区一区二区 |