Python爬蟲(chóng)爬取博客實(shí)現(xiàn)可視化過(guò)程解析
源碼:
from pyecharts import Barimport reimport requestsnum=0b=[]for i in range(1,11): link=’https://www.cnblogs.com/echoDetected/default.html?page=’+str(i) headers={’user-agent’:’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36’} r=requests.get(link,headers=headers) html=r.text post=re.findall(’<span class='post-view-count'>(.*?)</span>’,html)for i in post: i = i.replace('閱讀(', '') i = i.replace(')','') b.append(i) num=num+1columns=[]for i in range(1,num+1):#設(shè)置行名 columns.append(’博客’+str(i))#設(shè)置數(shù)據(jù)#設(shè)置柱狀圖的主標(biāo)題與副標(biāo)題bar = Bar('柱狀圖', '每個(gè)博客閱讀數(shù)量')#添加柱狀圖的數(shù)據(jù)及配置項(xiàng),先行后列bar.add('閱讀量', columns, b, mark_line=['average'], mark_point=['max', 'min'])#生成本地文件(默認(rèn)為.html文件)bar.render()
爬蟲(chóng)不是重點(diǎn),只是拿來(lái)爬閱讀數(shù)量,pyecharts是重點(diǎn)
這次爬的是我自己的博客,一共10頁(yè),每頁(yè)10片文章,正好寫(xiě)了100篇博客
pyecharts安裝:
pip install wheelpip install pyecharts==0.1.9.4
直接pip install pyecharts會(huì)下載最新版無(wú)法調(diào)用
注意點(diǎn):pyecharts調(diào)用,貌似無(wú)法實(shí)現(xiàn)多個(gè)py文件一起調(diào)用(意思是編寫(xiě)時(shí)不能在多個(gè)文件里出現(xiàn)import語(yǔ)句)
步驟解釋:
1.爬蟲(chóng)爬取閱讀數(shù)
2.去除非法字符裝入新的數(shù)組
3.設(shè)置橫軸數(shù)據(jù),生成柱狀圖
4.在當(dāng)前目錄下生成render.html,打開(kāi)查看柱狀圖
結(jié)果:
柱狀圖是動(dòng)態(tài)的,不是靜態(tài)的
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. php測(cè)試程序運(yùn)行速度和頁(yè)面執(zhí)行速度的代碼2. ASP中常用的22個(gè)FSO文件操作函數(shù)整理3. 三個(gè)不常見(jiàn)的 HTML5 實(shí)用新特性簡(jiǎn)介4. Warning: require(): open_basedir restriction in effect,目錄配置open_basedir報(bào)錯(cuò)問(wèn)題分析5. ASP調(diào)用WebService轉(zhuǎn)化成JSON數(shù)據(jù),附j(luò)son.min.asp6. SharePoint Server 2019新特性介紹7. React+umi+typeScript創(chuàng)建項(xiàng)目的過(guò)程8. 無(wú)線標(biāo)記語(yǔ)言(WML)基礎(chǔ)之WMLScript 基礎(chǔ)第1/2頁(yè)9. ASP.NET Core 5.0中的Host.CreateDefaultBuilder執(zhí)行過(guò)程解析10. php網(wǎng)絡(luò)安全中命令執(zhí)行漏洞的產(chǎn)生及本質(zhì)探究
