av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

大數據 - Sqoop從本地MySQL導入到Hive為什么要求Sqoop一定要在HDFS中

瀏覽:76日期:2022-06-19 09:09:42

問題描述

問題來源是這樣,我使用sqoop向Hive中導入mysql的表

sqoop import --connect jdbc:mysql://127.0.0.1:3306/employees_db --table titles --username root -P --hive-import -- --default-character-set=utf-8

然后發生了報錯:

16/08/10 22:08:36 ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://192.168.1.128:9000/usr/local/sqoop/lib/mysql-connector-java-5.1.39-bin.jar

于是我Google了一下,發現清一色的回答均為在hdfs中創建一個/usr/local/sqoop,然后將本地的sqoopput上去,即

[root@Master local]# hadoop dfs -put /usr/local/sqoop /usr/localDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.16/08/10 22:23:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable[root@Master local]# hadoop dfs -ls /usr/localDEPRECATED: Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it.16/08/10 22:25:28 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableFound 1 itemsdrwxr-xr-x - root supergroup 0 2016-08-10 22:25 /usr/local/sqoop

沒錯,這樣是成功解決了問題但是為什么會把sqoop存到hdfs中?我看到了有些人并不需要把sqoop移到hdfs中也能成功運行,是我哪里的配置出錯還是只能這么做?hdfs是分布式儲存應該是存數據文件,怎么會把一個程序存進去呢?這里令我很不解,希望能得到解答。

問題解答

回答1:

關于這個問題,貌似找到了一個解釋,這里報錯是缺少hdfs://192.168.1.128:9000/usr/local/sqoop/lib/mysql-connector-java-5.1.39-bin.jar,所以我的理解就是并不是sqoop在HDFS上運行,而是sqoop的jar要放在HDFS上,所以我們只用把jar上傳到HDFS即可

相關文章:
主站蜘蛛池模板: 精品综合久久 | 涩涩视频网站在线观看 | 久久99深爱久久99精品 | 亚洲视频一区在线观看 | 亚洲激情一级片 | 天天爽夜夜爽精品视频婷婷 | 91久久电影 | 精品日韩一区 | 91精品久久久久久久 | 日本在线精品视频 | 九一视频在线播放 | 99国产精品视频免费观看一公开 | 欧美成人a∨高清免费观看 欧美日韩中 | 色综合久久天天综合网 | 欧美性乱| 久久综合久久自在自线精品自 | 国产污视频在线 | 亚洲欧美自拍偷拍视频 | 中文字幕综合 | 亚洲第一成人影院 | 欧美精品一区在线观看 | 精品国产伦一区二区三区观看说明 | 亚洲一区二区三区视频在线 | 日韩在线欧美 | 天天看天天摸天天操 | 欧美一级在线观看 | 免费成年网站 | 在线视频一区二区 | www.887色视频免费 | 欧美一区二区在线 | 日韩一级欧美一级 | 欧美在线一区二区三区 | 日本福利一区 | 91精品国产91久久久久久最新 | 日本一二区视频 | 一区二区三区不卡视频 | 国产高清视频在线播放 | 久久精品免费 | 欧美一级片 | 欧美日韩成人在线 | 狠狠躁天天躁夜夜躁婷婷老牛影视 |