我有节点代码可获取要爬网的网站列表,并在遍历结果时调用使用幻像编写的爬网函数。但是,在搜寻函数返回结果之前,循环会迭代次数,因此会迭代无法处理该爬行函数的调用次数。我需要立即回答我的问题。请有人把我从这件事中解脱出来。
我的主页代码
db.fetch_serviceEntity(function(serviceEntityData){
if(serviceEntityData!=""){
serviceEntityData.forEach(function(item){
console.log(item.website_url);
db.fetch_entityId(item.id,function(entityId){
crawler.getCount(item.website_url, item.name, function(rCount){
console.log("number of fresh reviews to crawl : ", parseInt(rCount) - parseInt(item.review_count));
if(rCount > item.review_count){
fetchReviews(item.website_url, entityId.id, parseInt(rCount) - parseInt(item.review_count), function(){
db.updateReviewCount(item.id, rCount, function(){
process.exit(0);
});
});
}
});
});
};
});
}
else {
console.log("No websites to crawl/database error");
}
process.exit(0);
});
我的抓取功能在这里
crawler.prototype.crawl = function(webUrl, callback){
console.log(webUrl);
this.driver.create({ path: require('phantomjs').path }, function (err, browser) {
return browser.createPage(function (err,page) {
return page.open(webUrl, function (err,status) {
console.log("opened site? ", status);
page.includeJs('http://ajax.googleapis.com/ajax/libs/jquery/1.7.2/jquery.min.js', function (err) {
// Wait for a bit for AJAX content to load on the page. Here, we are waiting 5 seconds.
setTimeout(function () {
return page.evaluate(function () {
//Get what you want from the page using jQuery.
var reviews = [];
$('li div.review').each(function () {
if($(this).find('div.ypassport').text()){
var d = new Date($(this).find('span.rating-qualifier').text().trim());
var temp = {
id : $(this).attr('data-review-id'),
entity_id : "",
user_id : $(this).attr('data-signup-object').split(":")[1],
}
reviews.push(temp);
}
});
return {
reviews: reviews
};
}, function (err,result) {
browser.exit();
callback(result);
});
}, 5000);
});
});
});
});
};
我正在使用node-phantom-simple编写抓取功能
我的问题是->因为for循环使调用次数增加,爬网函数给我错误,指出某些或其他对象未创建。例如,在代码中它说“ createpage不是未定义的函数”,因此含义是未创建浏览器对象。有时它说“打开不是未定义的函数”,因此不会创建“页面”对象。
您具有异步函数,但是如果您process.exit(0)
从第一个函数返回时,所有数据库连接都将被丢弃,并且不会db.updateReviewCount
调用任何函数。因此,您将或多或少地获得任意结果,具体取决于第一个关闭的结果。
(旁边的是,该代码是一个回调地狱。也许你想创建更小的功能,然后把它们连有像库async
或者co
甚至是手工制作。)
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句