文章詳情頁
java - QQ空間爬蟲總是被封號
瀏覽:128日期:2022-09-24 17:58:56
問題描述
抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎?如何既可以快速 又可以不封號!謝謝啦!
代碼在github上地址https://github.com/20100507/Q...
問題解答
回答1:反爬蟲策略:
1、識別請求頭,判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip,判斷是否是爬蟲3、請求參數中進行加密或復雜加密,增加爬蟲開發的難度(如淘寶的ua算法)4、復雜驗證碼
應對反爬蟲策略:
1、在爬取過程中,適當切換代理ip2、適當降低請求頻率3、請求頭模擬成瀏覽器的請求,也就是用戶正常訪問的請求
你的問題,主要可以通過定時切換ip,或一旦被封再切換ip,來解決,可以考慮去“站大爺”等代理ip網站付費獲取,或者去多用幾個電信賬號,用ASDL撥號來切換ip。
標簽:
qq
相關文章:
1. bootstrp是col-md-12列的,只有col-md-10有內容,可以讓沒有內容的不占據位置嗎;2. java - 如何用圖畫的方式有效地表示多線程?3. wordpress里,這樣的目錄列表是屬于小工具還是啥?4. 百度地圖 - Android app中準備接入地圖sdk,百度VS高德哪個好一點?5. python 3.4 error: Microsoft Visual C++ 10.0 is required6. 我的怎么不顯示啊,話說有沒有QQ群什么的7. mysql federated引擎無法開啟8. 常量在外面不加引號會報錯。9. sublime text3安裝package control失敗10. android - 請問一下 類似QQ音樂底部播放 在每個頁面都顯示 是怎么做的?
排行榜
