av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

網絡爬蟲 - python爬蟲爬取資料,是直接生成Excel文件還是存入Mysql有利于后期處理。

瀏覽:80日期:2022-09-17 13:17:15

問題描述

要處理的文件不多,就是幾萬條,都是些簡單的處理,Excel暫時也夠用。大概思路兩條:

1、python抓到的數據通過Python DB API 儲存到mysql中再做處理。2、直接把爬取到的資料用Phthon XlsxWriter模塊生成Execl文件(.xlsx)。

不知道哪條路線對自動生成文件和后期的處理比較方便。自己不太會用mysql,所以比較傾向用XlsxWriter模塊生成Execl文件,只是看了XlsxWriter模塊的一些文檔,也只是編寫數據內容和格式,然后生成Execl文件,不知道有沒有爬取的數據自動生成Execl文件比較簡單的實現(有一些爬蟲的框架可以實現,但是暫時沒有學習框架,因為只是想實現一些簡單的功能而已)。

問題解答

回答1:

我遇到過類似的問題, 最后選的是用 excel.這個完全看你的需求.哪個方便選哪個. 先說下我的情況.

我當時的需求每次只爬幾百條數據, 而且每次都是用完就扔.所以用 excel 更方便些. 操作 excel 我用的 openpyxl. 只用來保存爬取的數據, 不操作樣式, 用起來還是蠻簡單的.

看你的數據有幾萬條, 如果考慮以后還會持續增加的話, 還是直接存數據庫以后操作比較方便.話又說回來, 如果覺得現在存 excel 也能滿足自己需求的, 而且更方便的話, 存 excel 也行.以后隨著數據增長, 覺得 excel 不能滿足需求了, 寫個腳本直接把 excel 里的數據導入數據庫里.

看題主還擔心不熟悉 MySQL, 這個完全不是問題, 學過其他數據庫的話, 學 MySQL 也不是難事.

回答2:

數據庫

遲早要接觸的

數據少 直接文本文件存儲都比 Excel 好...

回答3:

我覺得這個和用什么數據庫存儲沒關系,可以爬蟲爬取的數據存進execl里面,后期再自己寫程序將execl數據導入數據庫,這樣也能提高爬蟲處理的速度,如果在爬取過程中入庫就不太好了

回答4:

不懂mysql 就直接用 openpyxl

回答5:

存成csv文本文件, 照樣可以用Excel打開,也方便導入數據庫.

回答6:

SQLite

回答7:

數據少并發不高用Sqlite唄~不熟sql用ORM唄~例如peewee~

回答8:

后期處理肯定使用數據庫。

標簽: python
主站蜘蛛池模板: 亚洲在线| 欧美一级二级视频 | 麻豆一区一区三区四区 | 亚洲视频免费 | 亚洲精品字幕 | 国产高清精品一区二区三区 | 国产一区二区免费 | 国产欧美日韩在线 | 日韩精品在线播放 | 成人欧美一区二区三区在线播放 | 午夜影院在线观看版 | 奇米久久久 | av网站在线播放 | 亚洲国产成人精品女人久久久野战 | 亚洲美女网站 | 日韩1区2区 | 日韩视频在线免费观看 | 国产精品久久久久久久久免费相片 | 久久精品 | 中文字幕 在线观看 | 日韩欧美第一页 | 亚洲欧美激情视频 | www.99精品 | 蜜臀网| 亚洲精品一区二区 | 国产精品美女www爽爽爽视频 | 欧美激情一区二区 | 久久久久久久一区二区 | 狠狠色综合欧美激情 | 国外成人在线视频网站 | 美女福利视频一区 | 日韩一区二区三区视频在线观看 | 日韩欧美手机在线 | 综合五月婷 | 日本久久精 | 欧美xxxx网站 | 91不卡在线 | 亚洲精品一区二区网址 | 欧美乱做爰xxxⅹ久久久 | 久久精品国产久精国产 | 国内精品视频在线 |