python 抓取请求以获取 json

坎昆库

当我进行爬网时,我通常在使用 python 解析之前使用脚本。因为这允许获得可以轻松构建和解析的 JSON。

 >>> import requests
 >>> r = requests.get('~.json')
 >>> r.json()

然而,遇到这个页面, https://www.eiganetflix.jp/%E3%82%BF%E3%82%A4%E3%83%97/tv-%E3%82%B7%E3%83%AA%E3%83%BC%E3%82%BA

似乎没有交互调用 JSON 来在页面上显示材料。而且很难找到分页javascript函数。(实际上有,但我的意思是它似乎很难执行。)

在这种情况下,我如何利用现有requestsjson方法?或者有什么简单的方法可以抓取这个?

台风

如果我理解正确,您想抓取一个没有 JSON 响应的网页。检查以确保该网站没有允许您获取 JSON 数据的 API。甚至任何其他结构化数据(例如 XML)也会有所帮助。如果没有办法,您将不得不进行屏幕抓取,这不是最简单的方法。检查scrapy这是一个执行此操作的框架,或者您可以使用像beautifulsoup这样的库来定制解决方案。

如果页面使用 Javascript,您将需要以某种方式在页面上运行它以获取内容和浏览页面。您可以使用spynner或 Selenium 来做到这一点。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用 python 请求抓取 json

来自分类Dev

从获取请求python检索JSON数据

来自分类Dev

Python请求库-从POST请求中抓取单独的JSON和HTML响应

来自分类Dev

使用Python请求抓取页面

来自分类Dev

Python请求获取Json响应,其中某些字段编码错误

来自分类Dev

无法从 python 中的 JSON WEB API 请求中获取正文

来自分类Dev

python发布请求json

来自分类Dev

Python的JSON GET请求

来自分类Dev

Python请求JSON

来自分类Dev

Python:如何获取JSON请求但获得请求的一部分?

来自分类Dev

使用Python获取标头并转换为JSON(请求-urllib2-json)

来自分类Dev

Python Web抓取请求遵循重定向

来自分类Dev

Python BeautifulSoup并请求网络抓取

来自分类Dev

使用python请求从网页上抓取数据

来自分类Dev

从 python API 获取 JSON

来自分类Dev

Python 抓取 JSON - 取回所有项目

来自分类Dev

Python写入抓取数据的json文件

来自分类Dev

Python请求和Json for循环

来自分类Dev

Python 循环 JSON API 请求

来自分类Dev

使用 Python 的 REST JSON 请求

来自分类Dev

Python请求获取SSLerror

来自分类Dev

python请求获取cookie

来自分类Dev

如何从请求中获取json数组,并在带有GAE的python中将其用于对象?

来自分类Dev

无法从python中的模拟请求响应中获取JSON数据

来自分类Dev

我如何从保存在python变量中的json(获取请求)输出中进行过滤

来自分类Dev

Python请求,如何发送不带“”的json请求

来自分类Dev

使用PHP从JSON获取请求

来自分类Dev

使用PHP从JSON获取请求

来自分类Dev

json api获取请求错误