java - 讀取大于內存的大文件怎么讀?
問題描述
參考: 有一個1G大小的一個文件,內存限制大小是10M,有序返回頻數最高的50個詞,該怎么做?
網上有很多該問題的解決方案,都是用分而治之的思想,提到了遍歷整個文件。
那么我的問題是:如果單純地逐行讀取大文件,算是把1G文件全都加載進內存嗎?或者說是讀取大于內存的文件應該怎么讀?
問題解答
回答1:在這里內存就像一條管道,逐行讀是把1G文件在內存里過一遍而已,10M表示管道的粗細。所以,逐行讀是把1G文件加載進去過內存。
回答2:try (BufferedReader in = new BufferedReader(new FileReader(file))) { String line; while ((line = in.readLine()) != null) {// parse line }}
file再大,只要每一行的長度有限,整個文件讀完會需要不少的時間,但不會占用太大的內存。
回答3:分塊讀,每讀一個塊一個結果集,最后對結果集聚合處理文本的話,知道行數會更好
回答4:linux上面有個指令叫做split可以并發快速把大文本分割成小的文件,然后處理就方便了呀,這種算法叫做外排序
回答5:內存就好比草稿紙,寫滿一篇就翻篇。 用過、沒用的數據就扔掉了。
簡單舉例,創建一個變量 buff,設定好它的大小,打開文件流往里填,填滿以后查你要的內容,查到就統計到另外一個變量里計數。 然后清空buff,繼續之前讀取的位置再次裝載內容…… 直到讀取完畢,統計也就完成了。
回答6:針對不同的系統,都會提供一個API來操作大于內存的文件,也就是將文件當做內存來處理:
內存映射
mmap
CreateFileMapping
相關文章:
1. python - Django有哪些成功項目?2. 實現bing搜索工具urlAPI提交3. Python從URL中提取域名4. python執行cmd命令,怎么讓他執行類似Ctrl+C效果將其結束命令?5. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)6. 關于mysql聯合查詢一對多的顯示結果問題7. node.js - windows10下的npm全局路徑的復原或者將npm徹底刪除?8. 數據庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。9. 直接打字符不可以嗎?>和>有區別嗎10. node.js - 微信小程序websocket連接問題
