如何从 AJAX 密集型网站抓取数据表?

埃文·斯特罗姆

我想从这个权益表中抓取实时数据并将其粘贴到 excel 文件中

我曾尝试使用 Python 的 beautifulsoup4 包,但是,数据并不直接驻留在页面 html 中,相反,它似乎是使用一些 javascript 或类似方法加载的

史蒂夫

这是如何做到的

在 chrome 中打开页面。现在在 chrome 中打开开发者控制台。单击“网络”选项卡。现在刷新页面。

此选项卡显示您提出的请求(您可以看到大约 8 个项目)。

手动检查为我们提供了我们想要的:

https://www.nseindia.com/live_market/dynaContent/live_watch/stock_watch/niftyStockWatch.json

这是数据所在的链接。

现在,要将其放入 csv(可以在 excel 中打开),请使用 R 的 rvest 包:

library(rvest)
library(jsonlite)

url <- "https://www.nseindia.com/live_market/dynaContent/live_watch/stock_watch/niftyStockWatch.json"
page_html <- read_html(url)
data <- html_nodes(page_html, "p")
data <- html_text(data)

data <- fromJSON(data)
write.csv(data$data, "scrapedData.csv", row.names=FALSE)

如果您希望这是“实时”数据,您可以以(例如)5 秒的间隔运行抓取。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何更改数据表中的AJAX数据

来自分类Dev

如何通过Ajax加载数据表数据?

来自分类Dev

如何更改数据表中的AJAX数据

来自分类Dev

如何使用AJAX刷新JS数据表

来自分类Dev

如何ajax更新PrimeFaces数据表的页脚中的项目?

来自分类Dev

如何创建链接编辑数据表和Ajax。

来自分类Dev

如何ajax更新PrimeFaces数据表的页脚中的项目?

来自分类Dev

如何使用AJAX刷新JS数据表

来自分类Dev

如何从ajax /错误回调中刷新数据表?

来自分类Dev

如何创建链接编辑数据表和Ajax。

来自分类Dev

Ajax加载后如何获取数据表中的行数

来自分类Dev

ajax调用后如何刷新jquery数据表

来自分类Dev

如何在Django的数据表之外访问数据表的ajax响应?

来自分类Dev

如何简化C#的CPU密集型

来自分类Dev

如何改善内存密集型Python脚本?

来自分类Dev

BigQuery 如何处理 CPU 密集型查询?

来自分类Dev

如何判断操作是否是 CPU 密集型的

来自分类Dev

如何使用 admin-ajax.php 和 Scrapy 从网站抓取数据

来自分类Dev

¿如何获取ajax数据?

来自分类Dev

如何从ajax获取数据?

来自分类Dev

如何在MVC中使用Ajax将数据加载到数据表中

来自分类Dev

如何在javascript中将ajax数据设置为数据表

来自分类Dev

如何使用jQuery ajax请求在数据表中显示json响应数据?

来自分类Dev

如何通过数据表发送带有ajax请求的发布数据

来自分类Dev

如何使用ajax从jquery数据表中嵌套的json子数组中获取数据

来自分类Dev

如何抓取ajax生成网页?

来自分类Dev

分页如何正确地在数据表中(ajax,服务器端)?

来自分类Dev

如何在ASP.NET WebForm中的jQuery Ajax中使用C#数据表?

来自分类Dev

如何使用ajax在jquery数据表中显示其他标签?

Related 相关文章

热门标签

归档