av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python 實現 hive中類似 lateral view explode的功能示例

瀏覽:3日期:2022-07-25 10:00:50

背景:加入現在有這樣的數據,可能一條ocr代表兩個label,并且label通過','分隔。我們想把數據轉換成下面的。

原始數據:

label ocr 日常行車服務,汽車資訊 去加油站,加完油后直接離開?最開心的可能是加油站的工作人員 社會民生 已致2死20傷 !景區突遭塵卷風襲擊,孩子被卷上天!現場畫面曝光

目標數據:

label ocr 日常行車服務 去加油站,加完油后直接離開?最開心的可能是加油站的工作人員 汽車資訊 去加油站,加完油后直接離開?最開心的可能是加油站的工作人員 社會民生 已致2死20傷 !景區突遭塵卷風襲擊,孩子被卷上天!現場畫面曝光

實現辦法:

1.通過hive代碼:

select ocr,split(tag_info,’,’) labelfrom ( select label,ocr from t1 lateral view explode(split(label,’,’)) TableName as tag_info ) t;

要注意的是一定要添加 t 語句另命名。

2.通過python代碼:

df0 = pd.DataFrame({’A’:[[1,2],[5,6]],’B’:[10,-20]})df0 = dfdf0.columns = [’A’,’B’]rows = []for i, row in df0.iterrows(): for a in row.A.split(','): rows.append((a, row.B))df222 = pd.DataFrame(rows, columns=df.columns)df222

補充知識:hive中的lateral view(側視圖) 與 explode函數的使用

今天偶然間發現了一個hive中列轉行的小題目,需要用到lateral view 和 explode函數,剛好借這題說說lateral view 與 explode函數的使用。

題目是這樣:

原數據表如下圖

movie category 《疑犯追蹤》 懸疑,動作,科幻,劇情 《Lie to me》 懸疑,警匪,動作,心理,劇情 《戰狼2》 戰爭,動作,災難

需求:將電影分類中的數組數據展開。

結果如下:

《疑犯追蹤》 懸疑《疑犯追蹤》 動作《疑犯追蹤》 科幻《疑犯追蹤》 劇情《Lie to me》 懸疑《Lie to me》 警匪

先簡單聊幾句理論:explode與lateral view在關系型數據庫中本身是不該出現的,因為他的出現本身就是在操作不滿足第一范式的數據(每個屬性都不可再分),本身已經違背了數據庫的設計原理(不論是業務系統還是數據倉庫系統),不過大數據技術普及后,很多類似pv,uv的數據,在業務系統中是存貯在非關系型數據庫中,用json存儲的概率比較大,直接導入hive為基礎的數倉系統中,就需要經過ETL過程解析這類數據,explode與lateral view在這種場景下大顯身手。

explode作用是處理map結構的字段,使用案例如下:

//建表語句create table movie_info(movie string,category array<string>)row format delimited fields terminated by ’t’collection items terminated by ’,’;//加載數據load data local inpath ’/opt/data/movie.txt’ into table movie_info;

看下explode函數效果,以拆解category為例,可與原數據表結構對比。

select explode(category) from movie_info;

python 實現 hive中類似 lateral view explode的功能示例

LATERAL VIEW的使用:

用法:

LATERAL VIEW udtf(expression) tableAlias AS columnAlias

解釋:用于和split, explode等UDTF一起使用,它能夠將一列數據拆成多行數據,在此基礎上可以對拆分后的數據進行聚合。

select movie,category_namefrom movie_infolateral view explode(category) table_emp as category_name;

效果如下:

python 實現 hive中類似 lateral view explode的功能示例

其中lateral view explode(category) table_emp相當于一個虛擬表,與原表movie_info笛卡爾積關聯,也可以多重使用。那么問題就這樣解決了。

以上這篇python 實現 hive中類似 lateral view explode的功能示例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 一本岛道一二三不卡区 | 范冰冰一级做a爰片久久毛片 | 日韩国产一区二区三区 | 久久精品亚洲国产奇米99 | 日韩精品无码一区二区三区 | 国产精品99免费视频 | 中文字幕男人的天堂 | 久久精品久久久 | 国产精品日韩在线观看一区二区 | 免费精品 | 亚洲免费成人 | 亚洲精品视频在线播放 | 国家aaa的一级看片 h片在线看 | 国产精品精品视频一区二区三区 | 亚洲 欧美 综合 | 国产成人午夜高潮毛片 | 亚洲午夜视频 | 国产一级精品毛片 | 成人福利片 | 黄色一级免费 | 久久综合九色综合欧美狠狠 | 欧美成人二区 | 免费在线一区二区 | 综合色在线 | 在线国产一区二区 | 亚洲国产精品一区二区三区 | 在线视频99 | 国产精品天堂 | 麻豆久久久9性大片 | 国产精品久久久久久久久久久久久久 | 国产精品久久久亚洲 | 国产精品午夜电影 | 久久久久久久国产精品影院 | 美国av毛片 | 国产精品国产精品国产专区不卡 | 亚洲一区二区免费视频 | 成人网视频 | 午夜丰满寂寞少妇精品 | 亚洲精品一区二区三区中文字幕 | 黄在线免费观看 | 二区精品 |