av一区二区在线观看_亚洲男人的天堂网站_日韩亚洲视频_在线成人免费_欧美日韩精品免费观看视频_久草视

您的位置:首頁技術文章
文章詳情頁

node.js - 對將近2000個網頁發起同時20個的并發請求,出去request請求失敗

瀏覽:194日期:2024-08-04 11:51:57

問題描述

代碼不長,如下,爬取的是 雪中悍刀行的所有章節內容

var http = require(’http’);var $ = require(’cheerio’);var async = require(’async’);var iconv = require(’iconv-lite’);var fs = require(’fs’);var chapterNo = 1;var url = ’http://www.biquku.com/0/761/’, hrefList = {};var curCount = 0;var getChapter = function(url, cb) { ++ curCount; console.log(’讀取:’ + url + ’中, 同時有’ + curCount + ’并發中’); var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; if (res.statusCode == 200) { res.on(’data’, function(chunk) {buffer_arr.push(chunk);buffer_len += chunk.length; }); res.on(’end’, function() {var $content = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)).find(’#content’).text();-- curCount;cb(null , $content); }) } else { console.log('status: ' + res.statusCode); getChapter(url, cb); } }); req.on(’error’, function(err) { console.log(’request-err’); console.error(err); }) req.end();}var req = http.request(url, function(res) { var buffer_arr = []; var buffer_len = 0; res.on(’data’, function(chunk) { buffer_arr.push(chunk); buffer_len += chunk.length; }); res.on(’end’, function() { var $html = $(iconv.decode(Buffer.concat(buffer_arr, buffer_len), ’gbk’)); var $urls = $html.find(’#list>dl>dd>a’); var $a = ’’; for (var i = 0; i < $urls.length; i++) { $a = $($urls[i]); hrefList[$a.text()] = (function(url) {return function(cb) { setTimeout(function() { getChapter(url, cb); }, 0)} })(url.concat($a.attr(’href’))); } console.time(’novel’); async.parallelLimit(hrefList, 20, function(err, res) { if (err) {console.log('parallel-err:');console.error(err); } else {for (var key of Object.keys(res)) { var fileName = ’./’ + key + ’.txt’; (function(key){ fs.writeFile(fileName, res[key], function(err) { if (err) {console.log(’writefile-err:’);console.error(err); } else {console.log(key + ’: success’); } }) })(key)}console.timeEnd(’novel’); } }) })})req.on(’error’, function(e) { console.error(e);})req.end();

然后下面是請求報錯的地方node.js - 對將近2000個網頁發起同時20個的并發請求,出去request請求失敗

希望大家能告訴我下,怎么解決呢?還有我這個算并發請求嗎,因為我是通過setTimeout(func,0)這樣來發起發起http請求的?經過后來測試發現,200多張能成功讀取,到了300就會發生錯誤了。。

問題解答

回答1:

你這個確實是并發請求,20個會不會有點多,可能這個服務器扛不住了吧。 調小一點比如10個或5個并發試試呢

更新:剛才在我電腦上跑了下你的這段代碼,沒有出現問題描述中的錯誤。大概也許還有個原因是你的網不行吧。

主站蜘蛛池模板: 日韩精品在线免费观看 | 久久国产精品一区二区三区 | 国产日韩精品一区二区 | 久精品久久 | 一区二区三区高清 | 中文成人无字幕乱码精品 | 一区二区三区四区国产 | 日韩国产一区二区三区 | 91视频在线观看免费 | 精品毛片视频 | 亚洲成人黄色 | 综合久久综合久久 | 91就要激情 | 久久亚洲一区二区 | 成人在线观看免费 | 亚洲黄色av网站 | 亚洲欧洲精品在线 | 99久久精品免费看国产四区 | 久久国产亚洲 | 一区二区三区欧美在线观看 | 嫩草伊人 | 一区二区三区国产精品 | 国家一级黄色片 | 免费看黄色小视频 | 亚洲高清在线观看 | 日韩精品在线看 | 久色激情| www.久| 国产欧美精品 | 欧美一级久久 | 一区二区视频在线观看 | 国产9999精品 | 操操日 | 国产视频精品区 | 中文字幕国产日韩 | 午夜视频在线观看视频 | 中文字幕一区二区三区精彩视频 | 久久久99精品免费观看 | 91高清视频 | 一级黄色裸片 | 天天干天天操天天爽 |