av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

新手求教python3如何把dict循環寫入csv文件(在進行爬蟲時遇到的問題)?

瀏覽:85日期:2022-07-20 18:46:44

問題描述

爬蟲生成dict后,想將其寫入csv文件,卻出錯使用jupyter notebook,window環境。

具體代碼如下

import requestsfrom multiprocessing.dummy import Pool as ThreadPoolfrom lxml import etreeimport sysimport timeimport randomimport csvdef spider(url): header={’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36’ } timeout=random.choice(range(31,50)) html = requests.get(url,header,timeout=timeout) time.sleep(random.choice(range(8,16))) selector = etree.HTML(html.text) content_field = selector.xpath(’//*[@class='inner']/p[3]/p[2]/ul/li’) item ={} for each in content_field:g = each.xpath(’a/p[1]/p[1]/h3/span/text()’)go = each.xpath(’a/p[1]/p[2]/p/h3/text()’)h = each.xpath(’a/p[1]/p[2]/p/p/text()[1]’)j= each.xpath(’a/p[1]/p[1]/p/text()[2]’)ge = each.xpath(’a/p[1]/p[2]/p/p/text()[3]’)x = each.xpath(’a/p[1]/p[1]/p/text()[3]’)city = each.xpath(’a/p[1]/p[1]/p/text()[1]’)gg = each.xpath(’a/p[2]/span/text()’)item[’city’]=''.join(city)item[’hangye’]=''.join(hangye)item[’guimo’]=''.join(guimo)item[’gongsi’]=''.join(gongsi)item[’gongzi’]=''.join(gongzi)item[’jingyan’]=''.join(jingyan)item[’xueli’]=''.join(xueli)item[’gongzuoneirong’]=''.join(gongzuoneirong)fieldnames =[’city’,’hangye’,’guimo’,’gongsi’,’gongzi’,’jingyan’,’xueli’,’gongzuoneirong’]with open(’bj.csv’,’a’,newline=’’,errors=’ignore’)as f: f_csv=csv.DictWriter(f,fieldnames=fieldnames) f_csv.writeheader() f_csv.writerow(item)if __name__ == ’__main__’: pool = ThreadPool(4) f=open(’bj.csv’,’w’) page = [] for i in range(1,100):newpage = ’https://www.zhipin.com/c101010100/h_101010100/?query=%E6%95%B0%E6%8D%AE%E8%BF%90%E8%90%A5&page=’+str(i) + ’&ka=page-’ + str(i)page.append(newpage) results = pool.map(spider,page) pool.close() pool.join() f.close()

運行上面代碼,提示錯誤為

ValueError: too many values to unpack (expected 2)通過查詢原因是要將dict遍歷,需要dict.items()的形式。但在上述代碼中如何實現,一直沒有理順,求教各位

問題解答

回答1:

不好意思哈,現在才有時間來回答你的問題,看到你根據我的建議把代碼改過來了,下面我把改過的代碼貼出來,我運行過,是沒問題的

import requestsfrom multiprocessing.dummy import Poolfrom lxml import etreeimport timeimport randomimport csvdef spider(url): header = {’User-Agent’: ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36’ } timeout = random.choice(range(31, 50)) html = requests.get(url, headers=header, timeout=timeout) time.sleep(random.choice(range(8, 16))) selector = etree.HTML(html.text) content_field = selector.xpath(’//*[@class='inner']/p[3]/p[2]/ul/li’) item = {} for each in content_field:g = each.xpath(’a/p[1]/p[1]/h3/span/text()’)go = each.xpath(’a/p[1]/p[2]/p/h3/text()’)h = each.xpath(’a/p[1]/p[2]/p/p/text()[1]’)j = each.xpath(’a/p[1]/p[1]/p/text()[2]’)ge = each.xpath(’a/p[1]/p[2]/p/p/text()[3]’)x = each.xpath(’a/p[1]/p[1]/p/text()[3]’)city = each.xpath(’a/p[1]/p[1]/p/text()[1]’)gg = each.xpath(’a/p[2]/span/text()’)item[’city’] = ''.join(city)item[’hangye’] = ''.join(g)item[’guimo’] = ''.join(go)item[’gongsi’] = ''.join(h)item[’gongzi’] = ''.join(j)item[’jingyan’] = ''.join(ge)item[’xueli’] = ''.join(x)item[’gongzuoneirong’] = ''.join(gg)fieldnames = [’city’, ’hangye’, ’guimo’, ’gongsi’, ’gongzi’, ’jingyan’, ’xueli’, ’gongzuoneirong’]with open(’bj.csv’, ’a’, newline=’’, errors=’ignore’)as f: f_csv = csv.DictWriter(f, fieldnames=fieldnames) f_csv.writeheader() f_csv.writerow(item)if __name__ == ’__main__’: f = open(’bj.csv’, ’w’) page = [] for i in range(1, 100):newpage = ’https://www.zhipin.com/c101010100/h_101010100/?query=%E6%95%B0%E6%8D%AE%E8%BF%90%E8%90%A5&page=’ + str( i) + ’&ka=page-’ + str(i)page.append(newpage) print(page) pool = Pool(4) results = pool.map(spider, page) pool.close() pool.join() f.close()

這里主要是header,你原來是set類型,我修改后是dict類型

這里還需要給你一些建議

你的代碼是放到ide還是文本編輯器中運行的?有的東西在ide下明顯會報錯啊

建議新手從開始學的時候就遵守PEP8規范,別養成了壞習慣,你看看你的命名

回答2:

item = {’a’:1, ’b’:2}fieldnames = [’a’, ’b’]with open(’test.csv’, ’a’) as f: f_csv = DictWriter(f, fieldnames=fieldnames) f_csv.writeheader() f_csv.writerow(item)

我這樣寫并沒報錯喔

writerow就是直接接收dict的吧,你這個問題,我感覺是因為item的key與你表頭不對應

回答3:

因為在 fields 中指定的某些列名在 item 中不存在

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 日韩精品中文字幕一区二区三区 | 精品伦精品一区二区三区视频 | 国产激情视频网址 | 日韩在线中文字幕 | 午夜影院网站 | 欧美精品免费观看二区 | 二区三区视频 | 国产亚洲精品久久久久久豆腐 | 日韩一区二区三区精品 | 日韩成人影院 | 一区二区小视频 | 欧美精品综合在线 | 91不卡| 一级毛片色一级 | 国产视频久久久 | 欧洲一区二区三区 | 亚洲综合精品 | 草久视频 | www.色.com | 狠狠综合久久av一区二区老牛 | 亚洲免费精品 | 国产成人精品综合 | 亚洲精品1区 | 久久av一区二区三区 | 狠狠干av| 99久久国产综合精品麻豆 | 久久精品免费观看 | 一级网站 | 欧美一区二区三区 | 99热热| 欧美日韩一区二区三区四区 | 免费看a | 99re在线视频观看 | 日本成人福利 | 国产一级片免费看 | 福利视频一二区 | 欧美日韩一二三区 | 久久综合888 | 欧美国产日韩精品 | 欧美国产日韩一区二区三区 | 黄在线 |