av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

Python 使用xlwt模塊將多行多列數據循環寫入excel文檔的操作

瀏覽:64日期:2022-07-05 18:38:14

我就廢話不多說了,大家還是直接看代碼吧~

#!/usr/bin/python# -*- coding: utf-8 -*-import xlwtimport redef host_regex(dataline): host_regex = r'<host>(.*?)</host>' host = re.findall(host_regex, dataline) if host: return host[0]def ip_regex(dataline): ip_regex = r'<ip>(.*?)</ip>' ip = re.findall(ip_regex, dataline) if ip: return ip[0]with open('zbx_export_hosts.xml', 'r', encoding='utf8') as f: lines = f.readlines() alldatas = [] hostlist = [] iplist = [] for line in lines: host = host_regex(line) ip = ip_regex(line) if host is not None: hostlist.append(host) if ip is not None: iplist.append(ip) hosts_ip = [] # 構造數據結構,形如:[[a,b],[c,d],...] multi_list = map(list, zip(hostlist, iplist)) for multi in multi_list: hosts_ip.append(multi) workbook = xlwt.Workbook() worksheet = workbook.add_sheet(’test’) # 關鍵代碼 for hi in enumerate(hosts_ip): for num in range(len(hi[1])): # 行、列、值 worksheet.write(hi[0], num, hi[1][num]) workbook.save(’excelwrite.xls’)

PS:其實有兩行代碼冗余,就不刪了!

補充知識:通過python寫入xlsx大量數據問題簡述

以前批處理生成數據文件都是通過c程序直接按照逗號分隔方式寫文本文件以csv保存的。但是由于有些處理的數據表直接給業務人員看,業務人員習慣使用xls,因此提了些需求改造,對于一些小于100w的數據均要求改為xlsx文件格式的報表。

考慮報表文件數據處理便捷,因此決定用python實現,最初使用了openpyxl庫,這個python庫擁有非常強大的xlsx的讀寫api,能夠很方便的實現讀寫。但是在實際使用中發現在處理較大行數的xlsx時,占用內存非常嚴重,8個字段50w行數據在運行中內存高達10G,這不是我們應用服務器能夠接受的范圍。

因此尋求改善,在網上了解后,發現創建xlsx表時,指定write_only參數是openpyxl提供的大數據寫入解決方案,以下摘自官網范例,在選擇了此參數后,無法通過ws.cell(row=i, column=j).value = ? 的方式復制,只能通過append的方式追加行。關于設置只寫cell設置樣式,可以直接查看官網

>>> from openpyxl import Workbook>>> wb = Workbook(write_only=True)>>> ws = wb.create_sheet()>>>>>> # now we’ll fill it with 100 rows x 200 columns>>>>>> for irow in range(100):... ws.append([’%d’ % i for i in range(200)]) #可以先將一行的數據寫在一個list中,直接ws.append(list)>>> # save the file>>> wb.save(’new_big_file.xlsx’) # doctest: +SKIP

不過僅僅按上述范例修改write_only跑數時發現內存占用并沒有緩解,再仔細閱讀官網說明時才發現這么一句話“When you want to dump large amounts of data make sure you have lxml installed.”原來在openpyxl安裝時,并沒有把lxml作為強依賴,只是一個可選包,然后查實發現確實服務器上并沒有安裝lxml包。

于是與為了解決這個問題先在測試環境上安裝lxml,安裝過程也不是很順利。

首先先要裝libxml2以及libxslt,因為沒有root權限,均為源碼安裝,且只能安裝在用戶目錄。需要注意的是libxml2在安裝時需要--with-python=’python安裝目錄’,libxslt安裝的時候需要指定libxml2安裝目錄。

尤其最后的lxml安裝也是坑挺多的,主要是指定libxml2和libxslt,安裝lxml時先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安裝完之后,確實openpyxl寫xlsx不再增加內存,先在tmp目錄一個臨時文件中寫,待調用save方法時,保存到正式文件。

此外在這個問題解決中,還了解到writexlsx庫也可以處理大文件xlsx的寫入,并且安裝沒有這么多的依賴,其實還是非常推薦,也很簡介,官網有介紹。

操作大文件時指定{’constant_memory’: True}即可。

filename = ’test.xlsx’wb = xlsxwriter.Workbook(filename, {’constant_memory’: True})ws = wb.add_worksheet(’大文件’)i = 0data= []data.append(’中文’)data.append(1323)data.append(’abc’)ws.write_row(i, 0, data)i = i + 1wb.close() #直接關閉即可,不需要額外save

以上這篇Python 使用xlwt模塊將多行多列數據循環寫入excel文檔的操作就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: python
相關文章:
主站蜘蛛池模板: 国产一级在线 | 久久久精品国产sm调教网站 | 午夜影院在线 | 亚洲国产欧美日韩在线 | 成人在线观看网站 | 久操精品 | 欧美日韩二区三区 | 一区二区三区视频在线 | 日本在线天堂 | 在线观看日本 | 日韩在线视频免费观看 | 色爽av | 亚洲一区自拍 | 久久九九精品 | av入口 | 日本韩国三级 | 狠狠操天天干 | 99久久婷婷国产综合精品草原 | www.日本在线观看 | 日韩免费观看视频 | 欧美视频a | 99精品久久久久久中文字幕 | 日韩一区二区在线视频 | 一区二区三区在线看 | 精品欧美黑人一区二区三区 | 人人超碰在线 | 国产精品欧美一区二区 | 日本不卡在线视频 | 亚洲激情综合网 | 免费在线a| 欧美精品久久久久久 | 国产精品三级在线 | 久久中文字幕视频 | 青草网| 亚洲精品91| 91欧美大片 | 亚洲国产一区二区三区 | 国产成人精品一区二区 | 国产三级在线免费观看 | 国产黄色av | 国产日韩一区 |