文章詳情頁
python - 如何解決程序運行太久之后被操作系統暫停的情況?
瀏覽:168日期:2022-06-29 14:48:35
問題描述
我有幾個python爬蟲程序,需要持續不間斷運行,但是每次都是運行了兩天之后變得無響應,每次都是阻塞在time.sleep(60)的地方,但是進程又沒有死掉,在控制臺輸入Ctrl C都不能退出程序,只能在任務管理器里強制退出才行。
請問這是由什么原因導致的?以及如何解決這個問題?
先謝謝各位前輩了!
問題解答
回答1:問題分析建議:
linux: 可以嘗試通過strace命令追蹤進程狀態, 根據輸出的內容做分析,或者通過proc對應目錄的文件對進程的各項指標做分析! Ctrl-C無效,懷疑進程進入不可中斷的睡眠,具體還得看實際獲取的數據才有可能知道
windows: 通過任務管理器找到對應的進程, 右鍵->創建轉儲文件, 分析該轉儲文件看能否找出原因.
爬蟲程序: 自身對爬取的進度,做詳細的日志, 不管是鏈接,還是遇到的異常,最好都記錄下來,以便得知具體停止的時間, 和停止時,爬取的進度, 下次可以先針對這個進度再去深入分析.
回答2:linux系統的話試試用crontab去做定時任務windows用任務計劃
相關文章:
1. docker - 如何修改運行中容器的配置2. javascript - Web微信聊天輸入框解決方案3. 請教各位大佬,瀏覽器點 提交實例為什么沒有反應4. docker images顯示的鏡像過多,狗眼被亮瞎了,怎么辦?5. javascript - 為什么form表單提交沒有跨域問題,但ajax提交有跨域問題?6. javascript - Ajax加載Json時,移動端頁面向左上角縮小一截兒,加載完成后才正常顯示,這該如何解決?7. javascript - history.replaceState()無法改變query參數8. javascript - 移動端textarea不能上下滑動,該怎么解決?9. javascript - 關于audio標簽暫停的問題10. javascript - 音頻加載問題
排行榜
