av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

Python產生batch數據的操作

瀏覽:57日期:2022-06-25 13:16:32
產生batch數據

輸入data中每個樣本可以有多個特征,和一個標簽,最好都是numpy.array格式。

datas = [data1, data2, …, dataN ], labels = [label1, label2, …, labelN],

其中data[i] = [feature1, feature2,…featureM], 表示每個樣本數據有M個特征。

輸入我們方法的數據,all_data = [datas, labels] 。

代碼實現

通過索引值來產生batch大小的數據,同時提供是否打亂順序的選擇,根據隨機產生數據量范圍類的索引值來打亂順序。

import numpy as npdef batch_generator(all_data , batch_size, shuffle=True): ''' :param all_data : all_data整個數據集,包含輸入和輸出標簽 :param batch_size: batch_size表示每個batch的大小 :param shuffle: 是否打亂順序 :return: ''' # 輸入all_datas的每一項必須是numpy數組,保證后面能按p所示取值 all_data = [np.array(d) for d in all_data] # 獲取樣本大小 data_size = all_data[0].shape[0] print('data_size: ', data_size) if shuffle: # 隨機生成打亂的索引 p = np.random.permutation(data_size) # 重新組織數據 all_data = [d[p] for d in all_data] batch_count = 0 while True: # 數據一輪循環(epoch)完成,打亂一次順序 if batch_count * batch_size + batch_size > data_size: batch_count = 0 if shuffle: p = np.random.permutation(data_size) all_data = [d[p] for d in all_data] start = batch_count * batch_size end = start + batch_size batch_count += 1 yield [d[start: end] for d in all_data]測試數據

樣本數據x和標簽y可以分開輸入,也可以同時輸入。

# 輸入x表示有23個樣本,每個樣本有兩個特征# 輸出y表示有23個標簽,每個標簽取值為0或1x = np.random.random(size=[23, 2])y = np.random.randint(2, size=[23,1])count = x.shape[0]batch_size = 5epochs = 20batch_num = count // batch_sizebatch_gen = batch_generator([x, y], batch_size)for i in range(epochs): print('##### epoch %s ##### ' % i) for j in range(batch_num): batch_x, batch_y = next(batch_gen) print('-----epoch=%s, batch=%s-----' % (i, j)) print(batch_x, batch_y)

補充:使用tensorflow.data.Dataset構造batch數據集

import tensorflow as tfimport numpy as npdef _parse_function(x): num_list = np.arange(10) return num_listdef _from_tensor_slice(x): return tf.data.Dataset.from_tensor_slices(x)softmax_data = tf.data.Dataset.range(1000) # 構造一個隊列softmax_data = softmax_data.map(lambda x:tf.py_func(_parse_function, [x], [tf.int32]))# 將數據進行傳入softmax_data = softmax_data.flat_map(_from_tensor_slice) #將數據進行平鋪, 將其變為一維的數據,from_tensor_slice將數據可以輸出softmax_data = softmax_data.batch(1) #構造一個batch的數量softmax_iter = softmax_data.make_initializable_iterator() # 構造數據迭代器softmax_element = softmax_iter.get_next() # 獲得一個batch的數據sess = tf.Session()sess.run(softmax_iter.initializer) # 數據迭代器的初始化操作print(sess.run(softmax_element)) # 實際獲得一個數據print(sess.run(softmax_data))

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 成人免费视频观看视频 | 天天干狠狠操 | 中文字幕成人在线 | 久久久久久免费毛片精品 | 久久蜜桃av一区二区天堂 | 91精品一区二区三区久久久久 | 麻豆国产一区二区三区四区 | 99久久久国产精品 | 久久69精品久久久久久久电影好 | 久久免费香蕉视频 | 国产伦一区二区三区久久 | 中文久久| av国产精品| 国产精品性做久久久久久 | 国产人成精品一区二区三 | 亚洲免费视频网站 | 日韩毛片网 | 免费网站在线 | 欧美一区二区久久 | 一区二区三区欧美在线观看 | 久久久.com| 欧美一区二区三区,视频 | 国产精品久久久久久久久久久久冷 | 亚洲性视频 | 国产一区二区黑人欧美xxxx | 国产精久久久久久久妇剪断 | 青春草国产| 国产精品视频在线观看 | 91久久久久久久久久久久久 | 欧美一级欧美三级在线观看 | 日日日视频 | 国产精品一区一区 | 成人乱人乱一区二区三区软件 | 国产综合久久久久久鬼色 | 亚洲成人黄色 | 欧美亚洲国产一区 | 久久99深爱久久99精品 | 欧美国产精品久久久 | 亚洲日韩视频 | 性欧美精品一区二区三区在线播放 | 婷婷综合网 |