av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

python Requsets下載開源網站的代碼(帶索引 數據)

瀏覽:152日期:2022-06-22 15:02:18

環境搭建

python 3.xrequests 包re 包gooey包 (用于可視化)

代碼

import requestsimport reimport osfrom gooey import Gooey, GooeyParserimport times = requests.Session()def judgeTypeOfPath(name): ’’’ 判斷該路徑是文件還是文件夾 :param name: 路徑名稱 :return:True->文件;False->文件夾 ’’’ if name[-1] == ’/’:return False else:return Truedef makeDirOfPath(path): ’’’ 創建文件夾 :param path: 文件夾名稱以及路徑 :return: True->創建成功;False->創建失敗 ’’’ if not os.path.isdir(path):os.mkdir(path) if not os.path.isdir(path):return False return Truedef getPath(url): ’’’ 獲取網頁路徑列表 :param url: 當前網頁路徑 :return: 路徑列表 ’’’ baseResponse = s.get(url=url, stream=True,verify=False).text listOfDirOrFilesTemp = re.findall(r’<li><a href='http://m.4tl426be.cn/bcjs/.*?' rel='external nofollow' >’, baseResponse) listOfDirOrFiles = [] for i in range(len(listOfDirOrFilesTemp)):listOfDirOrFiles.append(listOfDirOrFilesTemp[i].split(''')[1]) return listOfDirOrFiles[1:len(listOfDirOrFiles) + 1]def rfSearch(listOfPath,url, nowPath): ’’’ 遞歸尋找目錄、路徑,并下載文件 :param listOfPath: 當前目錄下文件以及文件夾目錄列表 :param nowPath: 現在所在路徑 :return: ’’’ newList = listOfPath[:] if not newList:return for i in range(len(newList)):if not judgeTypeOfPath(newList[i]): u = nowPath + newList[i][0:len(newList[i])] makeDirOfPath(u) tempPath=nowPath + newList[i][0:len(newList[i])+1] tempUrl=url+newList[i][0:len(newList[i])+1] u=getPath(tempUrl) rfSearch(u,tempUrl,tempPath)else: print(f’開始下載{newList[i]}...’) t1=time.time() u = nowPath + newList[i] m=url+newList[i] if not os.path.exists(u):r = s.get(m, stream=True,verify=False)f = open(u, 'wb')for chunk in r.iter_content(chunk_size=10240): if chunk:f.write(chunk)f.close() t2=time.time() print(f’{newList[i]}下載完成tt用時 {t2-t1}’)@Gooey( program_name=’isric數據下載器’, encoding='utf-8', )def main(): parser = GooeyParser(description='isric數據下載器') parser.add_argument(’--url’,default=r’https://files.isric.org/soilgrids/latest/data/’) parser.add_argument(’--path’, widget='DirChooser', default=r’F:/isricData/’) args = parser.parse_args() url=args.url nowPath = args.path u = getPath(url) rfSearch(u, url,nowPath)###如果不需要可視化,則不用gooey,可以將上面部分替換如下#@Gooey(# program_name=’isric數據下載器’,# encoding='utf-8', )#上面三行刪除即可###main函數替換成下面部分:# def main():# url=r’https://files.isric.org/soilgrids/latest/data/’#在此處修改地址鏈接# nowPath = r’F:/isricData/’#在此處修改文件保存地址# u = getPath(url)# rfSearch(u, url,nowPath)if __name__ == '__main__': main()

到此這篇關于python Requsets下載開源網站的代碼(帶索引 數據)的文章就介紹到這了,更多相關python Requsets下載內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 成人深夜福利在线观看 | 免费成人国产 | 欧美日韩在线免费观看 | 日本一级淫片免费啪啪3 | 狠狠色网| 久久久av中文字幕 | 久久久www成人免费无遮挡大片 | 九九在线| 亚洲国产精品成人综合久久久 | 午夜小影院 | 久久久国产精品视频 | 免费在线观看av的网站 | 成人毛片在线视频 | 国内91在线 | 亚洲黄色片免费观看 | 久久国产视频播放 | 欧美第一页 | 亚洲狠狠 | 天天视频一区二区三区 | 国产精品欧美一区二区三区不卡 | 亚洲国产视频一区二区 | 国产精品视频一区二区三区 | 精品一区二区三区视频在线观看 | 91se在线| 精品国产乱码久久久久久88av | 欧美美女一区二区 | 91av视频在线播放 | 久热爱| 亚洲欧美综合 | 国产精品亚洲精品 | av在线免费观看网站 | 久久成人精品视频 | 国产精品久久影院 | 欧美寡妇偷汉性猛交 | 毛片一级片| 97av视频在线观看 | 农村黄性色生活片 | 五月花丁香婷婷 | 日韩和的一区二区 | 国产视频第一页 | 久久久久国产一区二区三区四区 |