av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術(shù)文章
文章詳情頁

python 簡單的股票基金爬蟲

瀏覽:41日期:2022-06-17 13:52:36
目錄項(xiàng)目地址所用到的技術(shù)開始編寫爬蟲項(xiàng)目地址

https://github.com/aliyoge/fund_crawler_py

所用到的技術(shù) IP代理池 多線程 爬蟲 sql 開始編寫爬蟲

1.首先,開始分析天天基金網(wǎng)的一些數(shù)據(jù)。經(jīng)過抓包分析,可知: ./fundcode_search.js包含所有基金代碼的數(shù)據(jù)。

2.根據(jù)基金代碼,訪問地址: fundgz.1234567.com.cn/js/ + 基金代碼 + .js可以獲取基金實(shí)時(shí)凈值和估值信息。

3.根據(jù)基金代碼,訪問地址: fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code= + 基金代碼 + &topline=10&year=2021&month=3可以獲取第一季度該基金所持倉的股票。

4.由于這些地址具有反爬機(jī)制,多次訪問將會(huì)失敗的情況。所以需要搭建IP代理池,用于反爬。搭建很簡單,只需要將proxy_pool這個(gè)項(xiàng)目跑起來就行了。

# 通過這個(gè)方法就能獲取代理def get_proxy(): return requests.get('http://127.0.0.1:5010/get/').json()

5.搭建完IP代理池后,我們開始著手多線程爬取數(shù)據(jù)的工作。使用多線程,需要考慮到數(shù)據(jù)的讀寫順序問題。這里使用python中的隊(duì)列queue存儲基金代碼,不同線程分別從這個(gè)queue中獲取基金代碼,并訪問指定基金的數(shù)據(jù)。因?yàn)閝ueue的讀取和寫入是阻塞的,所以可確保該過程不會(huì)出現(xiàn)讀取重復(fù)和讀取丟失基金代碼的情況。

# 獲取所有基金代碼fund_code_list = get_fund_code()fund_len = len(fund_code_list)# 創(chuàng)建一個(gè)隊(duì)列fund_code_queue = queue.Queue(fund_len)# 寫入基金代碼數(shù)據(jù)到隊(duì)列for i in range(fund_len): # fund_code_list[i]也是list類型,其中該list中的第0個(gè)元素存放基金代碼 fund_code_queue.put(fund_code_list[i][0])

6.現(xiàn)在開始編寫獲取所有基金的代碼。

# 獲取所有基金代碼def get_fund_code(): ... # 訪問網(wǎng)頁接口 req = requests.get('http://fund.eastmoney.com/js/fundcode_search.js', timeout=5, headers=header) # 解析出基金代碼存入list中 ... return fund_code_list

7.接下來是從隊(duì)列中取出基金代碼,同時(shí)獲取基金詳情和基金持倉的股票。

# 當(dāng)隊(duì)列不為空時(shí)while not fund_code_queue.empty(): # 從隊(duì)列讀取一個(gè)基金代碼 # 讀取是阻塞操作 fund_code = fund_code_queue.get() ... try:# 使用該基金代碼進(jìn)行基金詳情和股票持倉請求...

8.獲取基金詳情

# 使用代理訪問req = requests.get( 'http://fundgz.1234567.com.cn/js/' + str(fund_code) + '.js', proxies={'http': 'http://{}'.format(proxy)}, timeout=3, headers=header,)# 解析返回?cái)?shù)據(jù)...

9.獲取持倉股票信息

# 獲取股票投資明細(xì)req = requests.get( 'http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code=' + str(fund_code) + '&topline=10&year=2021&month=3', proxies={'http': 'http://{}'.format(proxy)}, timeout=3, headers=header,)# 解析返回?cái)?shù)據(jù)...

10.準(zhǔn)備一個(gè)數(shù)據(jù)庫,用于存儲數(shù)據(jù)和對數(shù)據(jù)進(jìn)行篩選分析。這里推薦一個(gè)方便的云數(shù)據(jù)庫,一鍵創(chuàng)建,一鍵查詢,十分方便,而且是免費(fèi)的哦。前往MemFireDB注冊一個(gè)賬號就能使用。注冊邀請碼:6mxJl6、6mYjGY;

python 簡單的股票基金爬蟲

11.創(chuàng)建好數(shù)據(jù)庫后,點(diǎn)擊連接信息填入代碼中,用于連接數(shù)據(jù)庫。

python 簡單的股票基金爬蟲

# 初始化數(shù)據(jù)庫連接:engine = create_engine(’postgresql+psycopg2://username:password@ip:5433/dbname’)

12.將數(shù)據(jù)寫入數(shù)據(jù)庫中。

with get_session() as s: # create fund ... if (create):s.add(fund) s.commit()

13.到這里,大部分工作已經(jīng)完成了,我們在main函數(shù)中開啟線程,開始爬取。

# 在一定范圍內(nèi),線程數(shù)越多,速度越快for i in range(50): t = threading.Thread(target=get_fund_data, name='LoopThread' + str(i)) t.start()

14.等到爬蟲運(yùn)行完成之后,我們打開MemFireDB,點(diǎn)擊對應(yīng)數(shù)據(jù)庫的SQL查詢按鈕,就可以查看我們爬取的數(shù)據(jù)。哇!我們獲取到了6432條數(shù)據(jù)。

python 簡單的股票基金爬蟲

15.接下來讓我們來看看這些基金最喜歡買哪些股票吧。輸入SQL語句select poscode, posname, count(*) as count, cast(sum(poscost) as int) from fund group by poscode, posname order by count desc limit 10;

python 簡單的股票基金爬蟲

它就是茅臺!

以上就是python 簡單的股票基金爬蟲的詳細(xì)內(nèi)容,更多關(guān)于python 股票基金爬蟲的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 伊人久久成人 | 欧美中文 | 久久久久久免费看 | 久久大 | 亚洲人成人一区二区在线观看 | 久艹网站| 欧美一级在线观看 | 精品国产精品国产偷麻豆 | 国产成人自拍av | 精品一区二区三区四区五区 | 91在线看视频| 精品国产乱码久久久久久闺蜜 | 视频一二区 | 国产精品中文字幕一区二区三区 | 国产9 9在线 | 中文 | 亚洲精品乱码久久久久久蜜桃91 | 亚洲综合久久精品 | 日韩在线播放视频 | 国产高潮好爽受不了了夜夜做 | 亚洲精品一区二区三区蜜桃久 | 免费午夜视频 | 中文字幕乱码视频32 | 国产精品美女久久久 | 夜夜爽99久久国产综合精品女不卡 | 国产精品一区久久久久 | 巨大荫蒂视频欧美另类大 | 国产乱码精品一区二区三区中文 | 精品网| 天天干天天玩天天操 | 欧美日韩国产高清 | 亚洲欧美中文日韩在线v日本 | 国产午夜精品一区二区三区 | 麻豆精品国产免费 | 91九色视频 | 久久精品在线 | 日日操夜夜操天天操 | 夜夜骑首页 | 密色视频 | 色在线免费视频 | 亚洲欧洲小视频 | 欧美日韩在线电影 |