av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

解決python 使用openpyxl讀寫大文件的坑

瀏覽:5日期:2022-06-25 09:29:35

由于需要處理xlsx類型的文件,我使用了openpyxl來處理,然而文件比較大,大約有60多MB。讀文件的時(shí)候雖然慢了一點(diǎn),但還是能夠讀出來,但是當(dāng)我想寫入時(shí)卻報(bào)錯(cuò)了。

解決python 使用openpyxl讀寫大文件的坑

顯示設(shè)備沒有多余的空間,百度了一下,發(fā)現(xiàn)有不少關(guān)于openpyxl讀寫大文件的問題。總結(jié)來看,解決方案主要有以下兩種,當(dāng)然,我兩種都用上了。

手動釋放內(nèi)存

del wb, wsgc.collect()

這一招還算有用,在讀完文件后可以看到內(nèi)存占用明顯下降了一點(diǎn)。

安裝lxml

使用命令·pip install lxml安裝依賴

這個(gè)依賴并非必須安裝的依賴,但是可以使openpyxl流式處理數(shù)據(jù)。

總之使用了以上兩種方案后,終于可以成功處理數(shù)據(jù)了。

補(bǔ)充:openpyxl讀取大文件的若干問題

需要編寫一個(gè)EXCEL文件對比工具

excel文件通常8MB,300張左右的表,每張表實(shí)際范圍為ZZ500.

使用openpyxl對表格進(jìn)行遍歷,完成兩個(gè)表之間的對比,找出公式不相同的單元格編程中遇到若干問題

1、讀取時(shí)報(bào)錯(cuò),錯(cuò)誤代碼忘記了,原因是通過數(shù)組的方式讀取了一個(gè)不存在的數(shù)值

如 SS[’AA’],這個(gè)數(shù)值沒有定義,因此報(bào)錯(cuò)(PHP直接返回空值),使用SS.get(’AA’,null)進(jìn)行修改

D:Python34Libsite-packagesopenpyxlreaderstyle.py

164: format_code = builtin_formats.get(numFmtId,’General’)2、讀取時(shí)內(nèi)存占用過大

基本就是內(nèi)存占用了2G以上以后,程序就不動了,原因是某些表格的表格范圍識別的非常大,最大可為ZZ65535

通過研究,代碼進(jìn)行了如下修改

1:使用X64版本,X64版本在運(yùn)行時(shí),可以運(yùn)行4G以內(nèi)內(nèi)存占用的程序,比2G大一倍,能夠完成大部分表格的讀取,如ZZ5000,但是遇到ZZ65535范圍的表格,內(nèi)存占用達(dá)到了4G+,也會導(dǎo)致程序停止運(yùn)行.

2:限制最大單元格遍歷范圍,最大限制為ZZ5000,能夠有效降低內(nèi)存占用

3:定時(shí)重新讀取EXCEL文件(如每對比30張表),釋放內(nèi)存,(Python內(nèi)存釋放真的很痛苦,全部是指針引用,A=B,DEL A;是不會釋放空間的,要DEL B才行).

4:雖然openpyxl讀取文件時(shí)有個(gè)只讀模式(性能模式),但是速度實(shí)在是太慢了.

通過代碼修改,現(xiàn)在完成文件對比所用的內(nèi)存通常在2G以內(nèi)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: www.三级 | 99在线播放| 毛片一级片 | 亚洲 欧美 日韩 在线 | 亚洲美女网站 | 免费国产视频 | 在线国产一区二区 | 国产精品美女久久久免费 | 超碰天天| 日韩不卡一区二区三区 | 黄色日本片 | 日韩第一区 | 性在线| 拍戏被cao翻了h承欢 | 精品国产黄a∨片高清在线 成人区精品一区二区婷婷 日本一区二区视频 | 91精品国产91久久久久久 | 天天干天天操 | 久久久久久国产免费视网址 | 99热首页| 99精品一区 | 日本高清视频在线播放 | 色www精品视频在线观看 | 国产日韩欧美 | 黑人中文字幕一区二区三区 | 日韩精品在线免费观看视频 | www久久久 | 国产精品欧美日韩 | 国产区精品视频 | 男女网站免费观看 | 欧美三级电影在线播放 | 天天摸天天干 | 精品国产一区二区三区av片 | 国产欧美一区二区三区另类精品 | 亚洲在线免费观看 | 国产综合精品一区二区三区 | 日韩成人免费中文字幕 | 久久激情网 | 亚洲三区视频 | 成人性视频免费网站 | 99爱国产| 国产黄色大片在线免费观看 |