文章詳情頁
想寫一個python分析統計apache 日志文件的腳本
瀏覽:141日期:2022-07-27 15:36:57
問題描述
想寫一個python分析統計apache 網站日志文件并將統計后的數據存入mysql中的的腳本,有沒有參考的,沒有思路主要是統計 哪些url被爬取了 及 被爬取次數,以及IP這兩個
問題解答
回答1:先把原始數據 規整化,然后 key 值自己定,然后用 collections 的 Counter 統計,然后再遍歷寫入 db, 大概代碼如下:
data = [’/a 1.2.1.2’, ’/b 2.2.2.2’, ’/c 1.1.1.1’, ’/d 2.2.2.2’, ’/d 2.2.2.2’]from collections import Counterc = Counter(data)print c
Counter({’/d 2.2.2.2’: 2, ’/b 2.2.2.2’: 1, ’/a 1.2.1.2’: 1, ’/c 1.1.1.1’: 1})
你也可以自己維護字典,鍵為:/PATH:IP 或者什么,自己定,然后一邊遍歷,一邊添加就好了
相關文章:
1. mysql - 分庫分表、分區、讀寫分離 這些都是用在什么場景下 ,會帶來哪些效率或者其他方面的好處2. javascript - ios返回不執行js怎么解決?3. python - 爬蟲模擬登錄后,爬取csdn后臺文章列表遇到的問題4. 視頻文件不能播放,怎么辦?5. python bottle跑起來以后,定時執行的任務為什么每次都重復(多)執行一次?6. html5 - HTML代碼中的文字亂碼是怎么回事?7. javascript - 求幫助 , ATOM不顯示界面!!!!8. mysql 查詢身份證號字段值有效的數據9. javascript - angular使從elastichearch中取出的文本高亮顯示,如圖所示10. javascript - 為什么在谷歌控制臺 輸出1的時候,輸出的1立馬就不見了
排行榜
