av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python多維數組分位數的求取方式

瀏覽:66日期:2022-08-04 14:11:54

在python中計算一個多維數組的任意百分比分位數,只需用np.percentile即可,十分方便

import numpy as npa = [154, 400, 1124, 82, 94, 108]print np.percentile(a,95) # gives the 95th percentile

補充拓展:如何解決hive同時計算多個分位數的問題

眾所周知,原生hive沒有計算中位數的函數(有的平臺會有),只有計算分位數的函數percentile

在數據量不大的時候,速度尚可。但是數據量一上來之后,完全計算不出來。

那么如何解決這個問題呢,我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數,速度飛快。

比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組,value_mccgroup的分位數

第一步:利用row_number() over()給value_mccgroup在分組里排序,記錄下排名

python多維數組分位數的求取方式

第二步:計算mkt_label,mccgroup,month分組下的數據總數

python多維數組分位數的求取方式

第三步:join前兩步的結果,取rank=你需要計算的分位數位置,想計算多少個分位數就計算多少個

python多維數組分位數的求取方式

第四步:再排一次序,這次數據量就已經少了很多了,畢竟每組里面只有幾個數據,記錄排名

python多維數組分位數的求取方式

第五步:得到具體的分位數

python多維數組分位數的求取方式

第六步:行轉成列,所有分位數計算完畢

python多維數組分位數的求取方式

后來查看了下SQL代碼的執行樹,發現percentile利用了map來存數據,怪不得這么耗內存,其實時間久并不是算的時間久,是因為內存不夠了,系統一直在回收內存

python多維數組分位數的求取方式

而rank over 僅僅就是個排序而已

python多維數組分位數的求取方式

以上這篇python多維數組分位數的求取方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 99久久99| 国产不卡一区 | 欧美综合自拍 | 亚洲一区二区三区视频 | 九色91视频 | 欧美成人一区二区三区 | 久久91视频 | 欧美福利三区 | 一区二区三区国产 | 精品一区在线免费观看 | 成人免费毛片在线观看 | 日韩在线视频精品 | 欧美www在线观看 | 亚洲欧美日韩在线一区二区 | 99久久婷婷国产综合精品电影 | 蜜桃视频在线观看免费视频网站www | 五月花丁香婷婷 | 亚洲欧美日韩精品久久亚洲区 | 婷婷丁香在线视频 | 亚洲国产成人av好男人在线观看 | 男人天堂色 | avav在线看| 中文字幕在线免费观看 | 亚洲欧美激情国产综合久久久 | 一级网站 | 亚洲精品一| 国产在线一区二区 | 亚洲日本欧美日韩高观看 | 九一视频在线观看 | 成人av一区 | 啪视频在线 | 玖玖视频免费 | 国产精品欧美一区二区三区 | 美女黄网 | 亚洲高清视频一区二区 | 99视频网 | 欧美在线不卡 | 国产日韩一区二区三免费 | 做a视频| 色香蕉在线 | 欧美成人在线影院 |