Python 请求（AJAX 请求）中缺少数据

debugcn 发表于 Dev

thf9527

我试图从这个网站抓取历史天气数据：http : //www.hko.gov.hk/cis/dailyExtract_uc.htm? y=2016&m =1

在对 AJAX 调用进行了一些阅读后，我发现请求数据的正确方法是通过以下代码：

import requests
from bs4 import BeautifulSoup
import json
import pandas as pd

headers = {
'Accept': 'text/plain, */*; q=0.01',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'en-US,en;q=0.9',
'Connection': 'keep-alive',
'Host': 'www.hko.gov.hk',
'Referer': 'http://www.hko.gov.hk/cis/dailyExtract_e.htm?y=2016&m=3',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
'X-Requested-With': 'XMLHttpRequest'
}

with requests.Session() as s:
#request April 2015 weather data
    r = s.get(r"http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_201504.xml",verify = False, headers = headers)
    soup = BeautifulSoup(r.content,'lxml')
data = json.loads(soup.get_text())['stn']['data'][0]['dayData'][:-2]
df = pd.DataFrame(data)

我注意到我检索的数据不包含右侧的 3 列，我在 get 请求中遗漏了什么？

哈尔

似乎如果您要求全年然后提取月份就在那里

import requests
import json

with requests.Session() as s:
    r = s.get(r"http://www.hko.gov.hk/cis/dailyExtract/dailyExtract_2015.xml",headers = {'User-Agent': 'Mozilla/5.0'}).json()
    print(r['stn']['data'][3]['dayData'][0])

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。