这不是漂亮的代码，但是我有一些代码，抓住一系列串出一个HTML文件，并给了我一系列字符串：author，title，date，length，text。我有2000多个html文件，我想浏览所有这些文件并将此数据写入单个csv文件。我知道所有这些最终都将被包装成一个for循环，但是在此之前，我很难理解如何从获取这些值到将它们写入一个csv文件。我的想法是先创建一个列表或元组，然后将其写入csv文件中的一行：
the_file = "/Users/john/Code/tedtalks/test/transcript?language=en.0"
holding = soup(open(the_file).read(), "lxml")
at = holding.find("title").text
author = at[0:at.find(':')]
title = at[at.find(":")+1 : at.find("|") ]
date = re.sub('[^a-zA-Z0-9]',' ', holding.select_one("span.meta__val").text)
length_data = holding.find_all('data', {'class' : 'talk-transcript__para__time'})
(m, s) = ([x.get_text().strip("\n\r")
for x in length_data if re.search(r"(?s)\d{2}:\d{2}",
x.get_text().strip("\n\r"))][-1]).split(':')
length = int(m) * 60 + int(s)
firstpass = re.sub(r'\([^)]*\)', '', holding.find('div', class_ = 'talk-transcript__body').text)
text = re.sub('[^a-zA-Z\.\']',' ', firstpass)
data = ([author].join() + [title] + [date] + [length] + [text])
with open("./output.csv", "w") as csv_file:
writer = csv.writer(csv_file, delimiter=',')
for line in data:
writer.writerow(line)
我一辈子都无法弄清楚如何让Python尊重这些事实，即它们是字符串，应该存储为字符串而不是字母列表。（.join()以上是我试图解决的问题。）
展望未来：以这种方式处理2000个文件，将其剥离为我想要的并一次写入CSV的一行是更好/更有效的方法，还是先建立一个数据帧pandas然后将其写入CSV更好？（所有2000个文件= 160MB，因此精简后，最终数据不能超过100MB，因此此处没有足够的大小，但期待大小最终可能会成为一个问题。）
这将抓取所有文件并将数据放入csv中，您只需要将路径传递到包含html文件和输出文件名称的文件夹：
import re
import csv
import os
from bs4 import BeautifulSoup
from glob import iglob
def parse(soup):
# both title and author are can be parsed in separate tags.
author = soup.select_one("h4.h12.talk-link__speaker").text
title = soup.select_one("h4.h9.m5").text
# just need to strip the text from the date string, no regex needed.
date = soup.select_one("span.meta__val").text.strip()
# we want the last time which is the talk-transcript__para__time previous to the footer.
mn, sec = map(int, soup.select_one("footer.footer").find_previous("data", {
"class": "talk-transcript__para__time"}).text.split(":"))
length = (mn * 60 + sec)
# to ignore time etc.. we can just pull from the actual text fragment and remove noise i.e (Applause).
text = re.sub(r'\([^)]*\)',"", " ".join(d.text for d in soup.select("span.talk-transcript__fragment")))
return author.strip(), title.strip(), date, length, re.sub('[^a-zA-Z\.\']', ' ', text)
def to_csv(patt, out):
# open file to write to.
with open(out, "w") as out:
# create csv.writer.
wr = csv.writer(out)
# write our headers.
wr.writerow(["author", "title", "date", "length", "text"])
# get all our html files.
for html in iglob(patt):
with open(html, as f:
# parse the file are write the data to a row.
wr.writerow(parse(BeautifulSoup(f, "lxml")))
to_csv("./test/*.html","output.csv")
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句