av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

使用python scrapy框架,循環爬取URL, 每次運行一段時間后直接卡死,沒有任何報錯

瀏覽:92日期:2022-06-28 18:15:35

問題描述

每次運行半小時左右, 直接卡死, log里沒有任何報錯, 卡死的時候CPU占用率非常高

我在setting.py里設置了download timeout,不是超時的原因

ctrl-c無法正常退出, ctrl-z退出以后, 繼續執行還是同樣的問題, 半小時后再次卡死

使用python scrapy框架,循環爬取URL, 每次運行一段時間后直接卡死,沒有任何報錯

問題解答

回答1:

先TOP看看是內否過高,還是CPU過高,再找到是被哪些進程占用了如果都是你的爬蟲進程,那就得排查代碼,看看是不是哪里一直未被釋放

總之從各方面去排查吧

回答2:

strace

標簽: Python 編程
主站蜘蛛池模板: 国产成人亚洲精品 | 中文字幕一区二区三区四区 | 国产成人精品一区二区 | 女生羞羞网站 | 久久av在线播放 | 日韩久久久久 | 成人精品一区二区三区中文字幕 | 91看片视频 | 色播久久| 国产高清久久久 | 日韩精品一区二区三区视频播放 | 一区久久 | 国产成人一区二区三区 | 欧美精品一区三区 | 91在线观看免费视频 | 精精国产xxxx视频在线播放7 | 久久丁香 | 国产成人综合在线 | 国产91精品在线 | 亚洲一区二区三区在线播放 | 国产精品永久免费 | 99爱国产| 一级在线视频 | 精品国产乱码久久久久久闺蜜 | 精品九九 | 日本成人免费观看 | 香蕉91| 精品一区二区三区av | 精品久久久久久久 | 亚洲人的av | 国产在线二区 | 精品国产久| 天堂在线91| 国产精品久久久久久久午夜片 | 二区av| 中文字幕一区二区三区四区不卡 | 国产高清一区二区三区 | 国产三级精品三级在线观看四季网 | 亚洲国产高清在线观看 | 精品欧美一区二区三区久久久 | 国产欧美一区二区三区在线播放 |