av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

java - 讀取大于內存的大文件怎么讀?

瀏覽:110日期:2023-12-28 16:57:06

問題描述

參考: 有一個1G大小的一個文件,內存限制大小是10M,有序返回頻數最高的50個詞,該怎么做?

網上有很多該問題的解決方案,都是用分而治之的思想,提到了遍歷整個文件。

那么我的問題是:如果單純地逐行讀取大文件,算是把1G文件全都加載進內存嗎?或者說是讀取大于內存的文件應該怎么讀?

問題解答

回答1:

在這里內存就像一條管道,逐行讀是把1G文件在內存里過一遍而已,10M表示管道的粗細。所以,逐行讀是把1G文件加載進去過內存。

回答2:

try (BufferedReader in = new BufferedReader(new FileReader(file))) { String line; while ((line = in.readLine()) != null) {// parse line }}

file再大,只要每一行的長度有限,整個文件讀完會需要不少的時間,但不會占用太大的內存。

回答3:

分塊讀,每讀一個塊一個結果集,最后對結果集聚合處理文本的話,知道行數會更好

回答4:

linux上面有個指令叫做split可以并發快速把大文本分割成小的文件,然后處理就方便了呀,這種算法叫做外排序

回答5:

內存就好比草稿紙,寫滿一篇就翻篇。 用過、沒用的數據就扔掉了。

簡單舉例,創建一個變量 buff,設定好它的大小,打開文件流往里填,填滿以后查你要的內容,查到就統計到另外一個變量里計數。 然后清空buff,繼續之前讀取的位置再次裝載內容…… 直到讀取完畢,統計也就完成了。

回答6:

針對不同的系統,都會提供一個API來操作大于內存的文件,也就是將文件當做內存來處理:

內存映射

mmap

CreateFileMapping

標簽: java
相關文章:
主站蜘蛛池模板: 美女午夜影院 | 国产午夜av片 | 午夜黄色影院 | 亚洲一区二区视频在线观看 | 国产精品成人一区二区 | 日韩精品一区二区三区 | 亚洲美女视频 | 欧美精品一区二区三区在线 | 成人在线免费视频观看 | 亚洲免费成人av | 青青草原综合久久大伊人精品 | 先锋资源网站 | 午夜免费视频观看 | 国产精品亚洲一区二区三区在线 | 国产日韩欧美精品一区二区三区 | 国产一级在线 | 国产一区二| 国产超碰人人爽人人做人人爱 | 亚洲网站在线观看 | 亚洲xxxxx| 国产精品成人品 | 国产一区二区精品 | 亚洲欧美一区二区三区国产精品 | 羞羞的视频免费在线观看 | 久久国产精品一区二区三区 | 午夜精品久久 | 亚洲成人国产 | 国产免费一区二区 | 一区二区三区四区在线视频 | 国产亚洲精品91 | 日韩伦理一区二区 | 婷婷精品 | 亚洲 欧美 另类 日韩 | 五月网婷婷 | 自拍视频国产 | 中国毛片免费 | 欧美国产91 | 国产精品自拍一区 | 欧美精品久久久 | 欧美成人a| 日本不卡一区二区 |