問題描述

今天下午和同事發(fā)生因?yàn)榕袛鄶?shù)據(jù)是否在數(shù)據(jù)庫中已存在產(chǎn)生分歧.簡易代碼如下:

//觀點(diǎn)一,先取出數(shù)據(jù)庫中已存在ID存入內(nèi)存,再進(jìn)行判斷 //數(shù)據(jù)太多情況,內(nèi)存爆炸 DateTable dt = ExcuteSQL(’SELECT ID FROM TABLE’);//List為數(shù)據(jù)集,已經(jīng)去重 foreach(var item in List){//觀點(diǎn)二,在for循環(huán)中根據(jù)ID查詢是否已存在//for循環(huán)執(zhí)行數(shù)據(jù)庫?沒這么干過DateTable dt = ExcuteSQL(string.format(’SELECT ID FROM TABLE WHERE ID = {0}’,item.ID));//判斷是否在dt中存在...bool ISContain...//不存在 if(!ISContain){ //加入事物SQL列表 SQLList.Add(’INSERT INTO ........’); } }//執(zhí)行事物 ....

問題解答

其實(shí)第一個(gè)你要拿實(shí)際數(shù)據(jù)量來估算，如果ID是Long類型，數(shù)據(jù)量100W，也才只有 8byte * 100W = 7.629 megabytes。

第二個(gè)肯定要不得，在循環(huán)中對每個(gè)ID去查詢。

推薦方法二，但這樣做查詢會(huì)比較快：

SELECT id FROM table WHERE id IN (?, ?, ?, ...)

注意，不同的數(shù)據(jù)庫對參數(shù)是有限制的，?最好不要超過1千個(gè)。如果你需要判斷1萬個(gè)id，就用10次這樣的查詢。

利用 @auntyellow 同學(xué)所說的方法應(yīng)該比較好，批量查詢。當(dāng)ID比較多時(shí)，考慮是否可以按其它的批量方式去查？比如一次拿一段時(shí)間的所有id，把方法一稍加改進(jìn)來實(shí)現(xiàn)。感覺不管是方法一還是方法二都走了極端，所以好的解決方法應(yīng)該是中合兩者的結(jié)果。

https://www.zhihu.com/questio...

建議是使用先把id從數(shù)據(jù)庫中取出來，然后在內(nèi)存中比較的方法，這樣可以減少數(shù)據(jù)庫的訪問。

可不可以分段 取到內(nèi)存里 這樣能減輕內(nèi)存占用