1、合并所有測(cè)試集和訓(xùn)練集的文件：

使用cmd到所在盤下，輸入copy *.CSV all_***.csv即可

2、單獨(dú)提取異常數(shù)據(jù)列作為csv文件：

import csvimport codecs#coding:utf-8with open('G:data_releasetrain1.0all_train.csv','rt',encoding='utf-8')as f:reader=csv.DictReader(f)column=[row[’triggername’] for row in reader]file_name='G:data_releasetrain1.0triggername.csv'file_csv = codecs.open(file_name,’w+’,’utf-8’)writer = csv.writer(file_csv, delimiter=’ ’, quotechar=’ ’, quoting=csv.QUOTE_MINIMAL)for data in column: writer.writerow(data)

雖然可以寫入，但是出現(xiàn)亂碼原因應(yīng)該為csv的BOM沒(méi)有更改

解決方法：將encoding=’utf8’改為encoding=’gb18030’

但是打開(kāi)文件發(fā)現(xiàn)并不是所有內(nèi)容都在第一列，有一些出現(xiàn)第二列，原因是一句話里面出現(xiàn)了逗號(hào)

解決方法：遍歷列表將逗號(hào)改為空格

i=0while i < len(column):column[i].replace(',',' ')i+=1

不知道怎么的不適合我用的csv文件，還在繼續(xù)檢查中

3、刪除一些字符，如果知道字符的位置可以在列表的基礎(chǔ)上進(jìn)行操作

去除首部空格 line=line.lstrip()

4、導(dǎo)入一個(gè)csv文件的時(shí)候 data = pd.read_csv(’G:pytorchdata1.csv’,encoding=’utf-8’)

報(bào)錯(cuò)的內(nèi)容是這樣的：

UnicodeDecodeError: ’utf-8’ codec can’t decode byte 0xc9 in position 0: invalid continuation byte

修改至data = pd.read_csv(’F:data1.csv’, encoding=’unicode_escape’,header=None,sep = ’t’,error_bad_lines=False)也沒(méi)有用

刪除整行重復(fù)項(xiàng)：

from more_itertools import unique_everseenwith open(’F:data1.csv’,’r’) as f, open(’F:data2.csv’,’w’) as out_file: out_file.writelines(unique_everseen(f))

5、unexpected index是代碼的縮進(jìn)出現(xiàn)問(wèn)題

6、文本文件用rt，二進(jìn)制文件用rb打開(kāi)

with open('fer2013.csv', 'rt', encoding='utf-8') as vsvfile: reader = csv.reader(vsvfile) rows = [row for row in reader] print(rows)

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持好吧啦網(wǎng)。