av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

網絡爬蟲 - python爬蟲爬取資料,是直接生成Excel文件還是存入Mysql有利于后期處理。

瀏覽:80日期:2022-09-17 13:17:15

問題描述

要處理的文件不多,就是幾萬條,都是些簡單的處理,Excel暫時也夠用。大概思路兩條:

1、python抓到的數據通過Python DB API 儲存到mysql中再做處理。2、直接把爬取到的資料用Phthon XlsxWriter模塊生成Execl文件(.xlsx)。

不知道哪條路線對自動生成文件和后期的處理比較方便。自己不太會用mysql,所以比較傾向用XlsxWriter模塊生成Execl文件,只是看了XlsxWriter模塊的一些文檔,也只是編寫數據內容和格式,然后生成Execl文件,不知道有沒有爬取的數據自動生成Execl文件比較簡單的實現(有一些爬蟲的框架可以實現,但是暫時沒有學習框架,因為只是想實現一些簡單的功能而已)。

問題解答

回答1:

我遇到過類似的問題, 最后選的是用 excel.這個完全看你的需求.哪個方便選哪個. 先說下我的情況.

我當時的需求每次只爬幾百條數據, 而且每次都是用完就扔.所以用 excel 更方便些. 操作 excel 我用的 openpyxl. 只用來保存爬取的數據, 不操作樣式, 用起來還是蠻簡單的.

看你的數據有幾萬條, 如果考慮以后還會持續增加的話, 還是直接存數據庫以后操作比較方便.話又說回來, 如果覺得現在存 excel 也能滿足自己需求的, 而且更方便的話, 存 excel 也行.以后隨著數據增長, 覺得 excel 不能滿足需求了, 寫個腳本直接把 excel 里的數據導入數據庫里.

看題主還擔心不熟悉 MySQL, 這個完全不是問題, 學過其他數據庫的話, 學 MySQL 也不是難事.

回答2:

數據庫

遲早要接觸的

數據少 直接文本文件存儲都比 Excel 好...

回答3:

我覺得這個和用什么數據庫存儲沒關系,可以爬蟲爬取的數據存進execl里面,后期再自己寫程序將execl數據導入數據庫,這樣也能提高爬蟲處理的速度,如果在爬取過程中入庫就不太好了

回答4:

不懂mysql 就直接用 openpyxl

回答5:

存成csv文本文件, 照樣可以用Excel打開,也方便導入數據庫.

回答6:

SQLite

回答7:

數據少并發不高用Sqlite唄~不熟sql用ORM唄~例如peewee~

回答8:

后期處理肯定使用數據庫。

標簽: python
主站蜘蛛池模板: 精品国产乱码久久久久久蜜柚 | 亚洲精品久久久久久一区二区 | 成人亚洲精品久久久久软件 | 亚洲精品久久久9婷婷中文字幕 | 99影视| 日韩伦理一区二区 | 国产成人高清在线观看 | 久久久久久久久久久久亚洲 | 天堂久久久久久久 | 久久国产成人 | 久久精品—区二区三区 | 欧美日韩电影一区二区 | 久久中文字幕在线 | 国产精品久久久久无码av | 超碰在线人人 | 欧美日韩精品影院 | 91精品国产91久久综合桃花 | 日韩在线免费观看视频 | 亚洲精品久久久久久一区二区 | 亚洲欧洲视频 | 免费久久久 | 日本一区二区高清不卡 | 亚洲成人一区 | av黄色免费 | 亚洲一区| 伊人网站在线观看 | 亚洲性在线| 日韩精品在线免费观看视频 | 影音先锋亚洲资源 | 国产精品视频网站 | 日韩欧美在线视频播放 | 久久综合一区二区三区 | 亚洲精品免费视频 | 国产中文在线观看 | 国产精品不卡一区 | 日韩成人在线播放 | 国产精品久久久久久久久久久新郎 | 精品中文视频 | 中文字幕在线视频观看 | 日韩在线精品视频 | 亚洲综合色网站 |