使用请求模块抓取Node.js

jisoo0427

我想从网上获取HTML。但是它显示那样。

meta http-equiv =刷新内容=“ 0; url = http://www.skku.edu/errSkkuPage.jsp ”>

但是,当我使用https://www.naver.com/而不是https://www.skku.edu/skku/index.do时,效果很好。

我想知道原因。

这是我的代码。

var request = require('request');

const url = "https://www.skku.edu/skku/index.do";

request(url, function(error, response, body){
  if (error) throw error;
  console.log(body);
});
里特什·库玛·古普塔(Ritesh Kumar Gupta)

该网站阻止了来自程序脚本的请求,该脚本检查了请求标头中的User-Agent。传递网络浏览器(例如Google chrome)发送的用户代理,它应该可以工作。

var request = require('request');
var options = {
    'method': 'GET',
    'url': 'https://www.skku.edu/skku/index.do',
    'headers': {
    'User-Agent': ' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36'
 }
};
request(options, function (error, response) {
    if (error) throw new Error(error);
    console.log(response.body);
});

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用请求模块的Node.JS代理

来自分类Dev

如何在Node.js Lambda中使用请求模块

来自分类Dev

无法使用node.js和“请求”模块向UTF-8链接发出请求

来自分类Dev

如何使用请求模块 -Node js 提取来自 url 的请求的域名

来自分类Dev

Node.js-带“请求”模块的PUT

来自分类Dev

node.js 通过请求模块发送

来自分类Dev

Node.js请求模块....在主体中发送JSON以使用api请求进行API请求

来自分类Dev

Node.js请求模块....在主体中发送JSON以使用api请求进行API请求

来自分类Dev

如何使用Node.js抓取页面

来自分类Dev

使用Node.js进行Web抓取

来自分类Dev

如何使用Node.js抓取页面

来自分类Dev

如何在node.js上使用请求模块设置POST编码?

来自分类Dev

node.js:使用请求模块进行表单HTTP身份验证失败

来自分类Dev

我如何使用Node.js请求模块进行curl调用

来自分类Dev

无法使用Node.js中的请求模块传输大文件

来自分类Dev

node.js请求模块,如何使用步骤将请求的URL主体传递给下一个函数

来自分类Dev

html使用cheerio js和node js抓取td元素

来自分类Dev

Node js抓取失败

来自分类Dev

Node.js错误:找不到模块“请求”

来自分类Dev

如何从node.js中的请求模块获取cookie?

来自分类Dev

在Node.js请求模块上设置{“ agent”:false}

来自分类Dev

Node.JS请求模块回调未触发

来自分类Dev

如何从Node.js模块中的请求获取变量

来自分类Dev

Node.js:请求模块是否支持无模式URI?

来自分类Dev

Node.js请求模块获取网站的现代版本

来自分类Dev

Node.js中的模块作用域-同时Express请求

来自分类Dev

节点js请求承诺,抓取

来自分类Dev

如何使用请求js(节点js模块)池

来自分类Dev

在HTML中使用Node.js模块

Related 相关文章

热门标签

归档