文章詳情頁
java - hadoop數據查找
瀏覽：134日期：2024-02-06 11:45:32
問題描述
使用hadoop查找文件中是否含有某些字符串，也就是要查找出set(string)中每個string對應的那一行，每條數據都不重復，請問怎么可以快速的找到呢？我寫了簡單的
# map.shawk -F '03' ’$3==xxx{print $0}’ -
結果慢的要死，一直動不都不懂，請問有快點的辦法嗎？最好是可以一次性找出集合中所有的
問題解答
回答1：這個寫MR吧，如果你想省事就把數據導入到hive中，用sql 來解決
標簽：
java
相關文章：
1. css - C#與java開發Windows程序哪個好？2. mysql無法添加外鍵3. css - 定位為absolute的父元素中的子元素 如何設置在父元素的下面？4. java - Mybatis查詢數據庫時出現查詢getInt(）的錯誤5. JavaScript事件6. javascript - 原生canvas中如何獲取到觸摸事件的canvas內坐標?7. javascript - es6將類數組轉化成數組的問題8. 在mac下出現了兩個docker環境9. css3 - flex 父標簽設置align-item:center,子元素flex：1，不起作用10. java - 是否類 類型指針、引用作為形參 ，函數結束不會自動析構類？
排行榜
網公網安備