av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

Python CSS選擇器爬取京東網商品信息過程解析

瀏覽:13日期:2022-07-23 15:22:05

CSS選擇器

目前,除了官方文檔之外,市面上及網絡詳細介紹BeautifulSoup使用的技術書籍和博客軟文并不多,而在這僅有的資料中介紹CSS選擇器的少之又少。在網絡爬蟲的頁面解析中,CCS選擇器實際上是一把效率甚高的利器。雖然資料不多,但官方文檔卻十分詳細,然而美中不足的是需要一定的基礎才能看懂,而且沒有小而精的演示實例。

Python CSS選擇器爬取京東網商品信息過程解析

京東商品圖

首先進入京東網,輸入自己想要查詢的商品,向服務器發送網頁請求。在這里小編仍以關鍵詞“狗糧”作為搜索對象,之后得到后面這一串網址:https://search.jd.com/Search?keyword=%E7%8B%97%E7%B2%AE&enc=utf-8,其中參數的意思就是我們輸入的keyword,在本例中該參數代表“狗糧”,具體詳情可以參考Python大神用正則表達式教你搞定京東商品信息。所以,只要輸入keyword這個參數之后,將其進行編碼,就可以獲取到目標URL。之后請求網頁,得到響應,爾后利用CSS選擇器進行下一步的數據采集。

商品信息在京東官網上的部分網頁源碼如下圖所示:

Python CSS選擇器爬取京東網商品信息過程解析

部分網頁源碼

仔細觀察源碼,可以發現我們所需的目標信息在紅色框框的下面,那么接下來我們就要一層一層的去獲取想要的信息。

在Python的urllib庫中提供了quote方法,可以實現對URL的字符串進行編碼,從而可以進入到對應的網頁中去。

Python CSS選擇器爬取京東網商品信息過程解析

CSS選擇器在線復制

很多小伙伴都覺得CSS表達式很難寫,其實掌握了基本的用法也就不難了。在線復制CSS表達式如上圖所示,可以很方便的復制CSS表達式。但是通過該方法得到的CSS表達式放在程序中一般不能用,而且長的沒法看。所以CSS表達式一般還是要自己親自上手。

直接上代碼,利用CSS去提取目標信息,如商品的名字、鏈接、圖片和價格,具體的代碼如下圖所示:

Python CSS選擇器爬取京東網商品信息過程解析

代碼實現

如果你想快速的實現功能更強大的網絡爬蟲,那么BeautifulSoupCSS選擇器將是你必備的利器之一。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網絡爬蟲的開發過程中,對于熟悉CSS選擇器語法的人,使用CSS選擇器是個非常方便的方法。

最后得到的效果圖如下所示:

Python CSS選擇器爬取京東網商品信息過程解析

最終效果圖

新鮮的狗糧再一次出爐咯~~~

Python CSS選擇器爬取京東網商品信息過程解析

CSS選擇器

關于CSS選擇器的簡單介紹:

BeautifulSoup支持大部分的CSS選擇器。其語法為:向tag對象或BeautifulSoup對象的.select()方法中傳入字符串參數,選擇的結果以列表形式返回,即返回類型為list。

tag.select('string')

BeautifulSoup.select('string')

注意:在取得含有特定CSS屬性的元素時,標簽名不加任何修飾,如class類名前加點,id名前加 /#。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: 京東 Python
相關文章:
主站蜘蛛池模板: 中文字幕一区二区三区四区五区 | 在线视频三区 | 国产精品久久久久久av公交车 | 国产原创视频 | 久久久久久免费免费 | 久久精品国产一区二区电影 | 国产农村妇女精品一区 | 国内自拍偷拍一区 | 国产精品1区2区 | 欧美日韩中文在线 | 免费观看的av毛片的网站 | 免费网站在线 | 国产精品欧美一区二区三区不卡 | 国产精品久久精品 | 久久久久久成人网 | 精品国产乱码久久久久久88av | 久久久久国产一区二区三区不卡 | 中文字幕第三页 | 国产精品欧美一区二区三区 | 午夜影院操 | 亚洲性人人天天夜夜摸 | 亚洲精品视频在线看 | 久久亚洲高清 | 97超碰在线免费 | 国产一区二区三区四区 | 麻豆av片| 日本三级做a全过程在线观看 | 欧洲一区视频 | 亚洲精品一区二区三区丝袜 | 国产午夜精品视频 | 成人免费在线播放视频 | 亚洲国产精品视频一区 | 国产伦精品一区二区三区精品视频 | 国产精品久久久久久238 | 日本三级在线 | 国产精品国产精品国产专区不片 | 91亚洲国产精品 | 女女百合av大片一区二区三区九县 | 久久亚洲免费 | 日韩久久综合网 | 欧美精品在线观看 |