通過(guò)Python將Json數(shù)據(jù)導(dǎo)入MongoDB
問(wèn)題描述
首先數(shù)據(jù)是以標(biāo)準(zhǔn)的json格式的文本。然后想要通過(guò)python腳本來(lái)導(dǎo)入Mongodb中。json
{ 'service': 'http', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 80}{ 'service': 'ewall', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 1328}
python部分代碼:
with open(filen, ’r’) as f:while 1: try:jsonstr = f.readline().strip()# print jsonstr 可以輸出整個(gè)json的內(nèi)容if not jsonstr: breaktry: j = json.loads(jsonstr) #這里好像不處理的問(wèn)題 except: continuejsonlist.append(j) except:break
請(qǐng)問(wèn)這個(gè)情況要怎么解決呢?謝謝
問(wèn)題解答
回答1:你這個(gè)問(wèn)題是因?yàn)槟氵@個(gè)不是標(biāo)準(zhǔn)的json格式,標(biāo)準(zhǔn)的格式應(yīng)該是這樣的
[{ 'service': 'http', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 80},{ 'service': 'ewall', 'datetime': '2017-03-28 17:23:19', 'starttime': '1490692810', 'endtime': '1490692999', 'port': 1328}]
第二個(gè)你這個(gè)數(shù)據(jù)是按行讀的,請(qǐng)告訴我你一行數(shù)據(jù)到底是什么樣子的
回答2:@sheep3 的回答是對(duì)的。
如果你直接把JSON放MongoDB里你可以用mongoimport (https://docs.mongodb.com/manu...
你還想處理數(shù)據(jù)的話可以用這樣的代碼:
import jsonfilename = ’test.json’with open(filename, ’r’) as f: content = json.load(f)
如果JSON文件的內(nèi)容比內(nèi)存大你應(yīng)該通過(guò)streaming方式把JSON文件打開(kāi)。你可以用ijson包(https://pypi.python.org/pypi/...)。用法也比較簡(jiǎn)單:
import ijsonwith open(’test.json’) as fp: objects = ijson.items(fp, 'item') for object in objects:print(object)回答3:
@Christoph 的回答直接點(diǎn)名了更簡(jiǎn)單及優(yōu)化的處理方案,學(xué)了一招
相關(guān)文章:
1. mysql - jdbc的問(wèn)題2. 視頻文件不能播放,怎么辦?3. mysql - 把一個(gè)表中的數(shù)據(jù)count更新到另一個(gè)表里?4. mysql - 如何減少使用或者不用LEFT JOIN查詢?5. mysql - 分庫(kù)分表、分區(qū)、讀寫分離 這些都是用在什么場(chǎng)景下 ,會(huì)帶來(lái)哪些效率或者其他方面的好處6. javascript - 微信網(wǎng)頁(yè)開(kāi)發(fā)從菜單進(jìn)入頁(yè)面后,按返回鍵沒(méi)有關(guān)閉瀏覽器而是刷新當(dāng)前頁(yè)面,求解決?7. node.js - nodejs開(kāi)發(fā)中常用的連接mysql的庫(kù)8. mysql replace 死鎖9. 老師您的微信號(hào)是多少?10. mysql - 字符串根據(jù)字典替換
