我正在尝试使用请求模块抓取一个网站。
使用chrome和inspect元素，我转到url，填写表格，然后单击Continue按钮。Chrome浏览器的检查元素（网络文档）显示了随邮发送的Chrome。它还显示了多个cookie。该网站重定向到带有会话ID的URL。
为了模拟这一点，我尝试使用请求。我从检查元素中获取表单数据，然后将其重新格式化为字典。我使用request.session来包含cookie。
import requests
form_data = 'currentCalForm=dep¤tCodeForm=&tripType=oneWay&searchCategory=award&originAirport=JFK&flightParams.flightDateParams.travelMonth=5&flightParams.flightDateParams.travelDay=14&flightParams.flightDateParams.searchTime=040001&destinationAirport=LHR&returnDate.travelMonth=-1000&returnDate.travelDay=-1000&adultPassengerCount=2&adultPassengerCount=1&serviceclass=coach&searchTypeMode=matrix&awardDatesFlexible=true&originAlternateAirportDistance=0&destinationAlternateAirportDistance=0&discountCode=&flightSearch=award&dateChanged=false&fromSearchPage=true&advancedSearchOpened=false&numberOfFlightsToDisplay=10&searchCategory=&aairpassSearchType=false&moreOptionsIndicator=oneWay&seniorPassengerCount=0&youngAdultPassengerCount=0&childPassengerCount=0&infantPassengerCount=0&passengerCount=2'.split('&')
payload = {}
for item in form_data:
key, value = item.split('=')
if value:
payload[key] = value
with requests.session() as s:
r = s.post('https://www.aa.com/homePage.do', params = payload, allow_redirects=True)
print r.headers
print r.history
print r.url
print r.status_code
with open('x.htm', 'wb') as f:
f.write(r.text.encode('utf8'))
但是，请求似乎没有遵循重定向。历史记录为空，URL似乎是我发送的数据，而不是网站返回的数据。x.htm显示一个网页，但不包含我期望的信息。
从http://docs.python-requests.org/en/latest/user/quickstart/#redirection-and-history中，我期望r.url包含重定向的url，而r.history包含http的响应代码。
我究竟做错了什么？
好的，您所做的似乎是错误的。我不确定您是如何决定在上发送帖子的https://www.aa.com/homePage.do，但是这似乎是一种获取，并且不接受您发送的参数。当您单击搜索时，浏览器将发送以下信息：https://www.americanairlines.co.uk/reservation/searchFlightsSubmit.do;jsessionid=XXXXXXXXXXXXXXXXXXX和参数：
currentCalForm=dep
currentCodeFrom=
tripType=roundTrip
originAirport=LAX
flightParams.flightDateParams.travelMonth=10
flightParams.flightDateParams.travelDay=24
flightParams.flightDateParams.searchTime=040001
destinationAirport=JFK
returnDate.travelMonth=10
returnDate.travelDay=31
returnDate.searchTime=400001
adultPassengerCount=1
adultPassengerCount=1
childPassengerCount=0
hotelRoomCount=1
serviceclass=coach
searchTypeMode=matrix
awardDatesFlexible=true
originAlternateAirportDistance=0
destinationAlternateAirportDistance=0
discountCode=
flightSearch=revenue
dateChanged=false
fromSearchPage=true
advancedSearchOpened=false
numberOfFlightsToDisplay=10
searchCategory=
aairpassSearchType=false
moreOptionsIndicator=
seniorPassengerCount=0
youngAdultPassengerCount=0
infantPassengerCount=0
passengerCount=1
然后，这将为您提供HTML返回。漂亮的马赫，您必须发送所有在浏览器中发送的请求。使用硒可能更容易。
我发现使用httpfox可能类似于chrome网络。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句