av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

使用Python構造hive insert語句說明

瀏覽:53日期:2022-07-22 14:33:26

mysql可以使用nevicat導出insert語句用于數據構造,但是hive無法直接導出insert語句。我們可以先打印在hive命令行,然后使用腳本拼裝成insert語句,進行數據構造。

使用Python構造hive insert語句說明

手動copy到python腳本進行sql語句構造:

def transformString(s): list_s = s.split(’t’) print(len(list_s)) s_new = ’’ for item in list_s: s_new += ’'’ + item.strip(’ ’) + ’'’ + ’,’ return str(s_new.rstrip(’,’))# 為手動copy hive命令行打印輸出的記錄s = '555 helloworld's_new = transformString(s)sql = ’insert into dw.test PARTITION (ymd = ’2019-03-18’) values({});’.format(s_new)print(sql)

結果:

insert into dw.test PARTITION (ymd = ’2019-03-18’) values('555','helloworld');

補充知識:python向hive插入數據遇到的坑

因項目需求,應用python建模需要通過hive取數,并將結果寫入hive表。

嘗試了以下幾條坑爹路,僅做記錄如下:

通過impyla庫搭建hive與python橋梁

1.1 環境配置的坑(回頭放連接)

注: 遠程訪問hive一定要記得配置賬號密碼!!!報錯:。。。-4.。。

1.2 一定不要用impyla中的executemany去批量插入數據,也不要用其他的方式向hive插入數據,都是坑!奇慢無比!找資料也都是說不建議這么做。

長途跋涉hdfs法

2.1 先用python的pyhdfs庫將結果寫成hdfs文件,然后。。。尼瑪!!根本沒成功連上服務器的hdfs,本地hdfs到是可以的

2.2 那既然寫hdfs,我就直接將模型結果通過hadoop/hdfs命令上傳至hdfs。然后, 通過hive命令load data將hdfs中的結果再導入hive。雖然有點繞,但是成功了!!!BUT!!!小兄弟,這個直接操作HDFS風險太高了,要不你還是另尋他法吧,不可以拒絕哦!!!

2.3 好吧,根據建議,使用kafka,抱歉這個坑后面再來踩。

2.4 臨時處理方案:先將結果寫入mysql,再轉入hive,這個沒有坑,具體我也只是寫到mysql,無坑。。就是有點繞。。。

以上這篇使用Python構造hive insert語句說明就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 日本欧美在线观看视频 | 这里只有精品999 | 一区二区三区不卡视频 | 欧美色综合天天久久综合精品 | 久久99精品久久久久婷婷 | 日韩在线精品强乱中文字幕 | 黄色网址在线免费播放 | www.国产精 | 亚洲精品乱码久久久久久9色 | 日韩高清中文字幕 | 日本男人天堂 | 国产欧美日韩一区二区三区在线观看 | 亚洲午夜精品久久久久久app | 国产专区在线 | 中文字幕一区在线观看视频 | 九九国产 | 国产一区中文字幕 | 国产做a爱免费视频 | 日韩在线观看中文字幕 | 国产精品欧美一区二区 | 99在线国产 | 日韩成人免费视频 | www视频在线观看 | 日韩在线免费播放 | 精品国产一区久久 | 91视频入口| 成人黄色电影免费 | 天天干夜夜操 | 91精品国产日韩91久久久久久 | 欧美一级免费看 | 一级免费a | 91手机精品视频 | 国产一级免费视频 | 亚洲精品乱码久久久久久9色 | 中文字幕一二三区 | 欧美中文一区 | 激情婷婷成人 | 在线成人精品视频 | 日本在线视频一区二区 | 一区在线观看视频 | 一级片av |