我正在使用 Python 从网站提取数据requests
,但遇到了一个奇怪的问题。
我正在使用re
来自我的帖子请求的响应来提取一些像这样的表数据:
import re
import requests
tables = re.compile(r'^\s*(<table width.*?table>)$', flags=re.DOTALL | re.MULTILINE)
with open(tableInfoFile, fileSaveFormat) as f:
chartInfoPage = session.post(tableURL, headers=postLoginHeaders, data=data, verify=False)
for table in re.findall(tables, chartInfoPage.content.decode('utf-8'), flags=re.DOTALL | re.MULTILINE):
f.write(table)
然而,这并没有写任何东西!我已经测试了正则表达式,当我直接在响应数据(从浏览器复制)上使用它时,它工作得很好。
更奇怪的是,这段代码也能正常工作:
import re
import requests
tables = re.compile(r'^\s*(<table width.*?table>)$', flags=re.DOTALL | re.MULTILINE)
with open(tableInfoFile, fileSaveFormat) as f:
chartInfoPage = session.post(tableURL, headers=postLoginHeaders, data=data, verify=False)
with open('test.html', 'w') as temp:
temp.write(chartInfoPage.content.decode('utf-8'))
with open('test.html', 'r') as temp:
data = temp.read()
for table in re.findall(tables, data, flags=re.DOTALL | re.MULTILINE):
f.write(table)
这对我来说毫无意义。我所做的就是将数据保存到文件中,然后读取它。这和直接使用数据有什么不同??
提前致谢。
编辑:哦,这是我尝试提取的表数据示例,如果有帮助的话:
<table width="100%" class="contentTable" cellpading=3>
<tr>
<td colspan=12 class="header">لیست دروس ارایه شده توسط دانشکده مهندسی عمران</td>
</tr>
<tr>
<td class="header" ><nobr> شماره درس</nobr></td>
<td class="header" ><nobr>گروه</td>
<td class="header" ><nobr>واحد</td>
<td class="header" ><nobr>نام درس</td>
<td class="header" ><nobr>پيشنياز و همنياز</td>
<td class="header" ><nobr>ظرفيت</td>
<td class="header" ><nobr>تعداد ثبت نامی</td>
<td class="header" ><nobr>نام استاد</td>
<td class="header" ><nobr>تاريخ امتحان</td>
<td class="header" ><nobr>برنامه هفتگی</td>
<td class="header" ><nobr>ملاحظات</td>
<td class="header" ><nobr>پیغام به هنگام ثبت نام</td>
</tr>
<tr>
<td class="contentCell"><nobr>10021</td>
<td class="contentCell"><nobr>1</td>
<td class="contentCell"><nobr>1</td>
<td class="contentCell"><nobr>آز هیدرولیک</td>
<td class="contentCell" width=150>پيشنياز: 13410: 13110</td>
<td class = "contentCell"><nobr><span dir="ltr"> 16</span></font></td>
<td class="contentCell" ><nobr> </font></td>
<td class="contentCell" width=150>Crossed out</font></td>
<td class="contentCell"><nobr><span dir=ltr> </span></td>
<td class="contentCell"><nobr> شنبه 8:0 تا 12:0 شنبه 13:0 تا 15:0</td>
<td class="contentCell">برگزاری این درس فقط با شرط ثبت نام قطعی حداقل 15 نفر امکان پذیر است
</td>
<td class="contentCell">برگزاری این درس فقط با شرط ثبت نام قطعی حداقل 15 نفر امکان پذیر است</td>
</tr>
</table>
如果您想提取/解析 html,BeautifulSoup 是您的最佳选择。在这种特殊情况下,您有<table>
标签。
html = '''<table width="100%" class="contentTable" cellpading=3>
<tr>
<td colspan=12 class="header">لیست دروس ارایه شده توسط دانشکده مهندسی عمران</td>
</tr>
<tr>
<td class="header" ><nobr> شماره درس</nobr></td>
<td class="header" ><nobr>گروه</td>
<td class="header" ><nobr>واحد</td>
<td class="header" ><nobr>نام درس</td>
<td class="header" ><nobr>پيشنياز و همنياز</td>
<td class="header" ><nobr>ظرفيت</td>
<td class="header" ><nobr>تعداد ثبت نامی</td>
<td class="header" ><nobr>نام استاد</td>
<td class="header" ><nobr>تاريخ امتحان</td>
<td class="header" ><nobr>برنامه هفتگی</td>
<td class="header" ><nobr>ملاحظات</td>
<td class="header" ><nobr>پیغام به هنگام ثبت نام</td>
</tr>
<tr>
<td class="contentCell"><nobr>10021</td>
<td class="contentCell"><nobr>1</td>
<td class="contentCell"><nobr>1</td>
<td class="contentCell"><nobr>آز هیدرولیک</td>
<td class="contentCell" width=150>پيشنياز: 13410: 13110</td>
<td class = "contentCell"><nobr><span dir="ltr"> 16</span></font></td>
<td class="contentCell" ><nobr> </font></td>
<td class="contentCell" width=150>Crossed out</font></td>
<td class="contentCell"><nobr><span dir=ltr> </span></td>
<td class="contentCell"><nobr> شنبه 8:0 تا 12:0 شنبه 13:0 تا 15:0</td>
<td class="contentCell">برگزاری این درس فقط با شرط ثبت نام قطعی حداقل 15 نفر امکان پذیر است
</td>
<td class="contentCell">برگزاری این درس فقط با شرط ثبت نام قطعی حداقل 15 نفر امکان پذیر است</td>
</tr>
</table>'''
在.find_all('table')
将存储与元素的列表<table>
标签。然后只需通过索引选择您想要的表,或者只是遍历元素列表并将其打印出来,将其写入文件,执行您想要的操作:
import pandas as pd
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
tables = soup.find_all('table')
for table in tables:
print (table)
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句