输入关键字列表以搜索网站上的字段并将结果保存到外部HTML文件

debugcn 发表于 Dev

单调77

我想用python硒webdriver构建新闻剪辑脚本。我的想法是输入关键字列表以搜索网站上的字段并将结果保存到外部HTML文件。

使用此代码，我可以输入一个关键字并将搜索结果保存到外部HTMl文件中，这一切正常

options = Options()
options.headless = True
driver=webdriver.Firefox(options=options)
print ("Headless Firefox Initialized")


driver.get("https://www.URL.com/")

#check page title
assert "URL TITLE - " in driver.title 


time.sleep(2)

driver.find_element_by_class_name("search__open").click()
pretraga_input = driver.find_element_by_id("search-field-head")
pretraga_input.clear()
pretraga_input.send_keys("MY KEYWORD")
time.sleep(1)
pretraga_input.send_keys(Keys.RETURN)

timeout = 60
try:
  element_present = EC.presence_of_element_located((By.CLASS_NAME, 'search__results'))
  WebDriverWait(driver, timeout).until(element_present)
finally:
  print("RESULTS PAGE LOADED")

html_blic=driver.page_source 
soup_blic=BeautifulSoup(html_blic,'html.parser')
div_blic=soup_blic.select_one(".search__results")
html_content_blic = str(div_blic)

html_file = open('C://Users//MYUSER//Documents//PY//press.html', 'w', encoding="utf-8")
html_file.write('<head><title> PAGE TITLE </title><link rel="stylesheet" href="style.css"></head>'+'<div id="MYID"><div id="1">MY WEBSITE'+html_content_blic+'</div><div id="2"></div></div>' )
html_file.close()

driver.close()

但是，如何输入10多个关键字的列表并将每个关键字搜索结果保存到HTML文件？

杰克·弗莱汀

我相信您可以尝试以下操作，以完成自己想要的操作（如果我理解正确的话）：

在您的代码中，在之后pretraga_input.clear()插入：

keywords = ["MY KEYWORD", "MY OTHER KEYWORD"]
for keyword in keywords:
   pretraga_input.send_keys(keyword)
   [and then the rest of your code, indented in this loop]

让我知道是否有效。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。