av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

完美解決python針對hdfs上傳和下載的問題

瀏覽:2日期:2022-07-22 15:07:09

當我們使用python的hdfs包進行上傳和下載文件的時候,總會出現如下問題

requests.packages.urllib3.exceptions.NewConnectionError:<requests.packages.urllib3.connection.HTTPConnection object at 0x7fe87cc37c50>: Failed to establish a new connection: [Errno -2] Name or service not known

其實這主要是由于沒有將各個集群節點的ip映射到/etc/hosts文件中

修改/etc/hosts文件,將各個集群節點ip映射加上即可,如博主所示

vim /etc/hosts192.168.20.174 hadoop04192.168.20.173 hadoop03192.168.20.172 hadoop02192.168.20.171 hadoop01

補充知識:python上傳文件到hadoop異常問題

使用庫:pyhdfs

調用方法:

pyhdfs.HdfsClient(ip,port,user).copy_from_local()

pyhdfs.HdfsClient(ip,port,user).copy_to_local()

異常現象1如下圖:

完美解決python針對hdfs上傳和下載的問題

異常現象2如下圖:

完美解決python針對hdfs上傳和下載的問題

異常現象3如下圖:

完美解決python針對hdfs上傳和下載的問題

原因分析:可以看出,以上都是連接成功了,但是上傳或者下載失敗了,造成這種現象的原因是

我這里連接的是name節點,端口50070,當調用copy_from_local()時,name節點會主動去連接data節點進行數據讀寫操作,而data節點端口50075沒有開啟,造成data節點連接超時,拋出異常

解決辦法:開啟data節點端口

以上這篇完美解決python針對hdfs上傳和下載的問題就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 一级全黄少妇性色生活免费看 | 日日操夜夜干 | 91亚洲国产成人久久精品网站 | 91久久久久久久久 | 黄在线免费观看 | 青娱乐国产 | 久久国产精品亚洲 | 免费一区二区三区在线视频 | 成人一区二区视频 | 在线男人天堂 | 免费午夜电影 | 国产一二三区在线 | 欧美日本韩国一区二区 | 日本一二区视频 | 欧美激情综合色综合啪啪五月 | 在线精品一区二区 | 免费在线观看黄色av | 97成人在线| 精品久久久久久亚洲精品 | 国产黄a一级 | 国产欧美一区二区三区国产幕精品 | 日韩亚洲一区二区 | 国产乱码久久久 | 亚洲网站观看 | 国产资源在线播放 | 久久草在线视频 | 一区二区三区四区在线 | 免费视频一区二区 | 国产一区二区不卡 | 欧美一区二区三区日韩 | 亚洲欧美中文日韩在线v日本 | 在线只有精品 | 精品永久 | 国产精品九九九 | 色婷婷综合久久久久中文一区二区 | 一级片片| 91一区| 久久久久久久久久久久久9999 | 久久久久久久电影 | 日韩av在线一区二区 | 中文亚洲字幕 |