av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

網絡爬蟲 - python爬蟲爬取資料,是直接生成Excel文件還是存入Mysql有利于后期處理。

瀏覽:80日期:2022-09-17 13:17:15

問題描述

要處理的文件不多,就是幾萬條,都是些簡單的處理,Excel暫時也夠用。大概思路兩條:

1、python抓到的數據通過Python DB API 儲存到mysql中再做處理。2、直接把爬取到的資料用Phthon XlsxWriter模塊生成Execl文件(.xlsx)。

不知道哪條路線對自動生成文件和后期的處理比較方便。自己不太會用mysql,所以比較傾向用XlsxWriter模塊生成Execl文件,只是看了XlsxWriter模塊的一些文檔,也只是編寫數據內容和格式,然后生成Execl文件,不知道有沒有爬取的數據自動生成Execl文件比較簡單的實現(有一些爬蟲的框架可以實現,但是暫時沒有學習框架,因為只是想實現一些簡單的功能而已)。

問題解答

回答1:

我遇到過類似的問題, 最后選的是用 excel.這個完全看你的需求.哪個方便選哪個. 先說下我的情況.

我當時的需求每次只爬幾百條數據, 而且每次都是用完就扔.所以用 excel 更方便些. 操作 excel 我用的 openpyxl. 只用來保存爬取的數據, 不操作樣式, 用起來還是蠻簡單的.

看你的數據有幾萬條, 如果考慮以后還會持續增加的話, 還是直接存數據庫以后操作比較方便.話又說回來, 如果覺得現在存 excel 也能滿足自己需求的, 而且更方便的話, 存 excel 也行.以后隨著數據增長, 覺得 excel 不能滿足需求了, 寫個腳本直接把 excel 里的數據導入數據庫里.

看題主還擔心不熟悉 MySQL, 這個完全不是問題, 學過其他數據庫的話, 學 MySQL 也不是難事.

回答2:

數據庫

遲早要接觸的

數據少 直接文本文件存儲都比 Excel 好...

回答3:

我覺得這個和用什么數據庫存儲沒關系,可以爬蟲爬取的數據存進execl里面,后期再自己寫程序將execl數據導入數據庫,這樣也能提高爬蟲處理的速度,如果在爬取過程中入庫就不太好了

回答4:

不懂mysql 就直接用 openpyxl

回答5:

存成csv文本文件, 照樣可以用Excel打開,也方便導入數據庫.

回答6:

SQLite

回答7:

數據少并發不高用Sqlite唄~不熟sql用ORM唄~例如peewee~

回答8:

后期處理肯定使用數據庫。

標簽: python
主站蜘蛛池模板: 成人三级av | 亚洲国产精品视频一区 | 国产免费视频 | 国产1区在线| 91精品国产综合久久婷婷香蕉 | 欧洲毛片 | 亚洲色图第一页 | 亚洲一区二区久久 | 国产精品久久av | 人人种亚洲 | 亚洲成人午夜电影 | 精品国产精品国产偷麻豆 | 成人在线观看亚洲 | 国产日韩欧美一区二区 | 国产视频在线一区二区 | 粉嫩一区二区三区国产精品 | 亚洲一区 中文字幕 | 91精品国产色综合久久 | 亚洲视频 欧美视频 | 久久精品无码一区二区三区 | 国产高潮好爽受不了了夜色 | 国产精品高潮呻吟久久av野狼 | 不卡在线视频 | 精品一区二区三区在线视频 | 99热热99 | 蜜桃综合在线 | 国产精品一区在线 | 亚洲第一黄色网 | 九九热精品视频 | 日本一本视频 | 91九色porny首页最多播放 | 中文字幕日韩在线观看 | 亚洲首页 | 国产99在线 | 欧美 | 日日想夜夜操 | 久久精品视频网站 | 精品一区二区三区日本 | 天天天久久久 | 亚洲成人一区二区 | 久久一区二区三区免费 | 国产成人精品一区二 |