我想从网上获取HTML。但是它显示那样。
meta http-equiv =刷新内容=“ 0; url = http://www.skku.edu/errSkkuPage.jsp ”>
但是,当我使用https://www.naver.com/而不是https://www.skku.edu/skku/index.do时,效果很好。
我想知道原因。
这是我的代码。
var request = require('request');
const url = "https://www.skku.edu/skku/index.do";
request(url, function(error, response, body){
if (error) throw error;
console.log(body);
});
该网站阻止了来自程序脚本的请求,该脚本检查了请求标头中的User-Agent。传递网络浏览器(例如Google chrome)发送的用户代理,它应该可以工作。
var request = require('request');
var options = {
'method': 'GET',
'url': 'https://www.skku.edu/skku/index.do',
'headers': {
'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
}
};
request(options, function (error, response) {
if (error) throw new Error(error);
console.log(response.body);
});
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句