硒; 循环下载csv文件

我的西班牙语有点生锈，但是如果我没记错的话，您尝试先切换los filtros de búsqueda por Sector e Institución然后再进行sectorxinstitución组合。

如果单击组合之一，例如Aportaciones de Seguridad Socialx Fondo de la Vivienda del ISSSTE，则可以观察到以下网络请求：

method GET
url "https://dgti-ejz-mspadronserpub.200.34.175.120.nip.io/ms/InfoPadron/servidoresPublicosSector/19/HC6/1/100?query=nombres,primerApellido,segundoApellido,dependencia,tipoEntidad,nombrePuesto,sueldoBase,compensacionGarantizada"
Headers:
Host: dgti-ejz-mspadronserpub.200.34.175.120.nip.io
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:71.0) Gecko/20100101                 
Firefox/71.0
Accept: application/json
Accept-Language: de,en-US;q=0.7,en;q=0.3
Accept-Encoding: gzip, deflate, br
Referer: https://nominatransparente.rhnet.gob.mx/
Origin: https://nominatransparente.rhnet.gob.mx
Connection: keep-alive
TE: Trailers

这种反应是一个JSON包含相关数据，我们可以让内部的非常相同的请求R使用httr：

# Make the request
headers <- c(
    "Host" = "dgti-ejz-mspadronserpub.200.34.175.120.nip.io",
    "User-Agent" = "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv=71.0) Gecko/20100101 Firefox/71.0",
    "Accept" = "application/json",
    "Referer" = "https://nominatransparente.rhnet.gob.mx",
    "Origin" = "https://nominatransparente.rhnet.gob.mx",
    "Connection" = "keep-alive",
    "TE" = "Trailers"
)
url <- "https://dgti-ejz-mspadronserpub.200.34.175.120.nip.io/ms/InfoPadron/servidoresPublicosSector/19/HC6/1/100?query=nombres,primerApellido,segundoApellido,dependencia,tipoEntidad,nombrePuesto,sueldoBase,compensacionGarantizada"

response <- httr::GET(url, httr::add_headers(headers))
# Extract the data
data <- httr::content(response)
# Example, the first entry
data$listDtoServidorPublico[[1]]
# $nombres
# [1] "JOSE OSCAR"
# 
# $primerApellido
# [1] "ABURTO"
# 
# $segundoApellido
# [1] "LOPEZ"
# 
# $dependencia
# [1] "FONDO DE LA VIVIENDA DEL ISSSTE"
# 
# $tipoEntidad
# [1] "ORGANISMO DESCENTRALIZADO"
# 
# $nombrePuesto
# [1] "JEFE DE AREA PROF B EN PROC HIPOTEC FOVISSSTE"
# 
# $sueldoBase
# [1] 9432
# 
# $compensacionGarantizada
# [1] 2096

如您所见，此版本比使用Selenium + Docker重型火炮要简单得多。

此外，您可以遍历sectorx个institución组合。关键可能是更改URL参数以接收不同的组合（即?query=...URL的一部分。我本人并未对此进行调查，但是通过在请求其他组合时检查DOM和网络，您应该能够弄清楚这一点。

编辑1：检查网络

在浏览器中，切换开发人员工具，然后在内部点击网络标签。当您执行Buscar时，将出现一个新请求，即一个与上述请求类似的请求（取决于所选组合）。

我已经完成了另一个组合，并观察到请求的网址是

https://dgti-ejz-mspadronserpub.200.34.175.120.nip.io/ms/InfoPadron/servidoresPublicosSector/25/C00/1/100?query=nombres,primerApellido,segundoApellido,dependencia,tipoEntidad,nombrePuesto,sueldoBase,compensacionGarantizada

因此，我对必须调整网址的哪一部分是错误的：如果您比较这两个链接，则这是它们的不同之处

 url_1 = x + 19/HC6 + y
 url_2 = x + 25/C00 + y
 # where
 x = https://dgti-ejz-mspadronserpub.200.34.175.120.nip.io/ms/InfoPadron/servidoresPublicosSector/
 y = /100?query=nombres,primerApellido,segundoApellido,dependencia,tipoEntidad,nombrePuesto,sueldoBase,compensacionGarantizada

因此，看起来每个sectorxinstitución都编码为VW/XYZ。如果检索所有这些，则可以遍历组合。

最后，如果进一步检查网络机会，您会发现一些包含这些编码映射的请求。

编辑2

令人怀疑的是，在检查网络时，我对标sectores.json有以下请求url的请求进行了处理https://nominatransparente.rhnet.gob.mx/assets/sectores.json。这sector至少包含了我所指的部分的映射。进一步看可能会产生类似的结果instutución。

可能您必须切换并单击给定sector，然后查看给定的所有institucón选项sector。然后在DOM内，您将看到类似的映射。我会建议：

1. Get the sector mapping
2. Find out inside the network how the list of instituciónes is given back. Probably something like:
-> Request containing sector-ID in the URL -> return a JSON with all instituciónes
3. Once you figure out the logic behind it, use httr::GET to create a list of all sector x institución
4. Once you have this list, iterate over all combinations to get JSON data as above.