av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

用python對oracle進行簡單性能測試

瀏覽:5日期:2022-07-03 10:17:18

一、概述

dba在工作中避不開的兩個問題,sql使用綁定變量到底會有多少的性能提升?數據庫的審計功能如果打開對數據庫的性能會產生多大的影響?最近恰好都碰到了,索性做個實驗。

sql使用綁定變量對性能的影響 開通數據庫審計功能對性能的影響

實驗采用的辦法很簡單,就是通過python讀取csv文件,然后將其導入到數據庫中,最后統計程序執行完成所需要的時間

二、準備腳本

python腳本dataimporttest.py

# author: yangbao# function: 通過導入csv,測試數據庫性能import cx_Oracleimport time# 數據庫連接串DATABASE_URL = ’user/password@ip:1521/servicename’class CsvDataImport: def __init__(self, use_bind): self.csv_name = ’test.csv’ self.use_bind = use_bind if use_bind == 1: self.insert_sql = 'insert into testtb values(:0, ' 'to_date(:1,’yyyy-mm-dd hh24:mi:ss’), ' 'to_date(:2,’yyyy-mm-dd hh24:mi:ss’), ' ':3, :4, :5, :6, :7, :8, :9, :10, :11, :12, :13, :14, ' ':15, :16, :17, :18, :19, :20, :21)' # 使用綁定變量的sql else: self.insert_sql = 'insert into testtb values({0}, ' 'to_date(’{1}’,’yyyy-mm-dd hh24:mi:ss’), ' 'to_date(’{2}’,’yyyy-mm-dd hh24:mi:ss’), ' '{3}, {4}, ’{5}’, {6}, ’{7}’, {8}, {9}, {10}, {11}, {12}, {13}, {14}, ' '{15}, {16}, {17}, {18}, {19}, {20}, {21})' # 不使用綁定變量的sql def data_import(self): begin_time = time.perf_counter() try: conn = cx_Oracle.connect(DATABASE_URL) curs = conn.cursor() with open(self.csv_name) as f: csv_contents = f.readlines() import_rows = 0 message = ’{} start to import’.format(self.csv_name) print(message) for line, csv_content in enumerate(csv_contents[1:]): data = csv_content.split(’,’) if self.use_bind == 1: data = map(lambda x: None if x == ’’ else x, data) else: data = map(lambda x: ’null’ if x == ’’ else x, data) data = list(data) data[-1] = data[-1].replace(’n’, ’’) if self.use_bind == 1: curs.execute(self.insert_sql, data) # 使用綁定變量的方式插入數據 else: # print(self.insert_sql.format(*data)) curs.execute(self.insert_sql.format(*data)) # 使用非綁定變量的方式插入數據 import_rows += 1 if import_rows % 10000 == 0: curs.execute(’commit’) message = ’{} has imported {} lines’.format(self.csv_name, import_rows) print(message) conn.commit() curs.close() conn.close() end_time = time.perf_counter() elapsed = round(end_time - begin_time, 2) message = ’{}, import rows: {}, use_bind: {}, elapsed: {}’.format( self.csv_name, import_rows, self.use_bind, elapsed) print(message) except Exception as e: message = ’{} import failed, reason: {}’.format(self.csv_name, str(e)) print(message)if __name__ == ’__main__’: CsvDataImport(use_bind=1).data_import()

csv文件test.csv(內容略)

三、測試sql使用綁定變量對性能的影響a. 使用綁定變量對庫進行重啟,目的是清空數據庫內的所有緩存,避免對實驗結果產生干擾

SQL> startup force;SQL> drop table yang.testtb purge;SQL> create table yang.testtb as select * from yang.test where 1=0;

運行腳本python dataimporttest.py

結果:test.csv, import rows: 227795, use_bind: 1, elapsed: 260.31

b. 不使用綁定變量對庫進行重啟

SQL> startup force;SQL> drop table yang.testtb purge;SQL> create table yang.testtb as select * from yang.test where 1=0;

將腳本的最后一行CsvDataImport(use_bind=1).data_import()改為CsvDataImport(use_bind=0).data_import()

運行腳本python dataimporttest.py

結果:test.csv, import rows: 227795, use_bind: 0, elapsed: 662.82

可以看到同樣的條件下,程序運行的時間,不使用綁定變量是使用綁定變量的2.54倍

四、測試數據庫開啟審計功能對性能的影響查看數據庫審計功能是否開啟

SQL> show parameter audit NAME TYPE VALUE-------------- ----------- ----------audit_trail string NONE

統計sys.aud$這張表的行數

SQL> select count(*) from sys.aud$; COUNT(*)---------- 0

所以可以直接拿第三步中的(a. 使用綁定變量)的結果作為沒開通審計功能程序運行的時間

對庫開通審計功能,并進行重啟

SQL> alter system set audit_trail=db,extended scope=spfile; # 如果設置成db,那么在sys.aud$里面sqltext將為空,也就是說看不到用戶執行的sql語句,審計毫無意義SQL> startup force;SQL> drop table yang.testtb purge;SQL> create table yang.testtb as select * from yang.test where 1=0;SQL> audit insert table by yang; # 開通對用戶yang的insert操作審計

將腳本的最后一行CsvDataImport(use_bind=0).data_import()改為CsvDataImport(use_bind=1).data_import()

運行腳本python dataimporttest.py

結果:test.csv, import rows: 227795, use_bind: 1, elapsed: 604.23

與前面使用綁定變量但沒有開通數據庫審計功能,程序運行的時間,開通數據庫審計功能是不開通數據庫審計功能的2.32倍

再來看看sys.aud$這張表的大小

SQL> select count(*) from sys.aud$; COUNT(*)---------- 227798

因sys.aud$這張表中的sqltext與sqlbind都是clob字段,因此需要通過下面的sql去統計該表所占用的空間

SQL> select sum(bytes) from dba_extents where segment_name in (select distinct name from (select table_name, segment_name from dba_lobs where table_name=’AUD$’) unpivot(name for i in(table_name, segment_name)));SUM(BYTES)---------- 369229824

查看testtb這張表占用的空間

SQL> select sum(bytes) from dba_extents where segment_name in (’TESTTB’);SUM(BYTES)---------- 37748736

可以看到對一個22萬行的csv數據導入到數據庫,審計的表占用的空間就達到了驚人的360M,而testtb這張表本身也才37M而已

通過上面的實驗可以得出,對于數據庫的審計功能,開通后會嚴重拖慢數據庫的性能以及消耗system表空間!

五、總結

代碼中盡量使用綁定變量 最好不要開通數據庫的審計,可以通過堡壘機去實現對用戶操作審計(ps:還請大家推薦個堡壘機廠商,這個才是本文最主要的目的_)

實驗存在不嚴謹的地方,相關對比數據也僅作為參考

以上就是用python對oracle進行簡單性能測試的示例的詳細內容,更多關于python 對Oracle進行性能測試的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 中文字幕在线精品 | 高清亚洲 | xxxxxx国产 | 无码一区二区三区视频 | 亚洲欧美激情精品一区二区 | 国产精品久久久久久久久久久久 | 欧美日韩专区 | 国产精品久久久久久亚洲调教 | 久久久久久影院 | 亚洲一区二区三区在线播放 | 成人精品国产一区二区4080 | 国产精品久久久久久吹潮 | 蜜桃视频在线观看免费视频网站www | 亚洲欧美国产毛片在线 | 成人福利在线 | 中文字幕在线观看 | 男女视频在线看 | 一级毛片免费看 | 午夜三级视频 | 狠狠干网站 | 亚洲福利视频一区二区 | 精品av | 亚洲国产二区 | 99热在这里只有精品 | 91成人免费电影 | 综合五月婷 | 国产精品一区久久久 | 久久99精品久久久久久 | 91九色视频在线 | 免费人成激情视频在线观看冫 | 美女视频网站久久 | 天天操夜夜操 | 成人水多啪啪片 | 女人天堂av| 91社区在线观看播放 | 国产三级网站 | 亚洲视频在线看 | 男女羞羞视频网站 | 亚洲入口| 亚洲国产aⅴ成人精品无吗 欧美激情欧美激情在线五月 | h在线免费观看 |