hadoop - 使用python hdfs模塊或者其他類似模塊過濾HDFS上的日志日志內容
問題描述
目前公司使用HDFS存儲各個節點服務器上傳的日志。因為歷史遺留問題,所以日志比較混雜。就是各種數據都會存入日志中。一個日志文件200mb左右。有時候要過濾一些內容,則需要根據時間戳,然后使用hdfs 的cat命令,之后再grep關鍵字。再通過stdin輸入到一個python腳本中,把相關的數據做一些處理。現在我想把他做成輸入要查詢的時間、節點、關鍵字以及匹配模型,然后一條龍完成這個任務。這樣就可以把這個小工具推向所有需求數據的人,而不是每次讓運維來查詢。于是開始研究python的相關模塊,這個hdfs可以上傳下載,查詢目錄文件內容。但是到讀這塊,就比較麻煩了。with client.read(hdfs_path=.....,其他參數)as reader:
content = reader.read()然后再對content處理
這種方式并不可行,因為一次要匹配的內容實在太多,大概有幾gb的數據,根本不可能全部讀出來然后再做處理。肯定得在讀的過程就進行篩選和處理
我嘗試了for line in content,也匹配不出內容。應該如何解決這個問題呢?難道用python把符合條件的文件路徑記錄下來,然后再執行HDFS命令,再把匹配的數據傳入python?那樣也顯得太麻煩了,而且穩定性肯定不好
后來我看了一下,hdfs這個模塊,創建客戶端的時候,連的是hadoop 50070這個web管理頁面,想了下是不是這個模塊本身就不是為了做數據分析用的?希望各位能給點幫助
問題解答
回答1:多線程呢,并行計算呢?你這樣一次性讀幾個Gb自然慢。既然是hadoop框架,用好mapreduce應該就行了吧。這玩意應該就不是為了快速而設計的。
相關文章:
1. javascript - 在ie下為什么會出現這種情況呢 《 無法獲取未定義或 null 引用的屬性“length”》 ?請大神指教。2. css右浮動字的順序顛倒了3. javascript - 我是做web前端的,公司最近有一個項目關于數據統計的!4. html5和Flash對抗是什么情況?5. javascript - 只是想用node建立一個簡單的服務器6. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)7. javascript - vue過渡效果 css過渡 類名的先后順序8. javascript - vuejs+elementui 購物車價格計算,點擊加減號修改數量總價都不會改變,但是計算執行了9. 數據庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。10. javascript - 如何使用loadash對[object,object,object]形式的數組進行比較
