한 웹 페이지 내의 다른 탭에서 콘텐츠 가져 오기

debugcn 에 게시 Dev

MJ O

이 웹 사이트의 표에있는 정보를 긁어 내려고하지만 첫 번째 "탭"에서만 내용을 가져옵니다. 탭 1에서 탭 2로 전환 할 때 URL이 동일하다는 것을 알 수 있습니다. 이 웹 페이지의 모든 탭에있는 정보가 포함 된 테이블을 하나 또는 여러 개 가져올 수있는 방법이 있습니까?

웹 페이지 : https://newsweb.oslobors.no/search?category=&issuer=&fromDate=2010-01-01&toDate=2020-02-03&market=&messageTitle=

from pandas.io.html import read_html
from selenium import webdriver

today = "2020-02-03"
url = "https://newsweb.oslobors.no/search?category=&issuer=&fromDate=2010-01-01&toDate=2020-02-03&market=&messageTitle="
driver = webdriver.Firefox(executable_path = r'my gecko path')
driver.get(url)
driver.implicitly_wait(100)
table = driver.find_element_by_xpath('/html/body/div[1]/div/main/table')

table_html = table.get_attribute('outerHTML')
tables = read_html(table_html)[0]
print(tables)

KunduK

잘 나는 chrome브라우저 희망으로 firefox당신에게 동일한 결과를 줄 것입니다.

무한 루프를 사용하고 사용 next가능한 버튼을 확인합니다 . 페이지에서 사용할 수없는 경우 루프 가 중단됩니다. 암시 적 대기 대신 WebDriverWait()

코드 : 솔루션 1은 각 페이지에 표를 인쇄합니다.

from pandas.io.html import read_html
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import pandas as pd
options = Options()
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

today = "2020-02-03"
url = "https://newsweb.oslobors.no/search?category=&issuer=&fromDate=2010-01-01&toDate=2020-02-03&market=&messageTitle="
driver=webdriver.Chrome(options=options)
driver.get(url)

while True:
   WebDriverWait(driver,20).until(EC.visibility_of_element_located((By.CSS_SELECTOR,'table.sc-frDJqD.iirWZt')))
   table = driver.find_element_by_css_selector('table.sc-frDJqD.iirWZt')
   table_html = table.get_attribute('outerHTML')
   tables = read_html(table_html)[0]
   print(tables)

   if len(driver.find_elements_by_xpath("//li[@class='disabled']//a[text()='⟩']"))>0:
       break;
   else:
       driver.execute_script("arguments[0].click();", driver.find_element_by_xpath("//li//a[text()='⟩']"))

솔루션 2는 모든 레코드를 포함하는 단일 데이터 프레임을 제공합니다.

from pandas.io.html import read_html
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import pandas as pd
options = Options()
options.add_argument("start-maximized")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

today = "2020-02-03"
url = "https://newsweb.oslobors.no/search?category=&issuer=&fromDate=2010-01-01&toDate=2020-02-03&market=&messageTitle="
driver=webdriver.Chrome(options=options)
driver.get(url)
df=pd.DataFrame()
while True:
   WebDriverWait(driver,20).until(EC.visibility_of_element_located((By.CSS_SELECTOR,'table.sc-frDJqD.iirWZt')))
   table = driver.find_element_by_css_selector('table.sc-frDJqD.iirWZt')
   table_html = table.get_attribute('outerHTML')
   tables = read_html(table_html)[0]
   #print(tables)
   df = df.append(tables, ignore_index=True)
   if len(driver.find_elements_by_xpath("//li[@class='disabled']//a[text()='⟩']"))>0:
       break;
   else:
       driver.execute_script("arguments[0].click();", driver.find_element_by_xpath("//li//a[text()='⟩']"))

print(df)

출력 :

                  Tid  ...                                           Kategori
0    03.02.2020 15:47  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
1    03.02.2020 15:10  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
2    03.02.2020 14:43  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
3    03.02.2020 14:22  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
4    03.02.2020 14:21  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
5    03.02.2020 14:21  ...                         FLAGGINGFLAGGINGWWFLAGGING
6    03.02.2020 14:09  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
7    03.02.2020 13:36  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
8    03.02.2020 13:30  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
9    03.02.2020 13:22  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
10   03.02.2020 13:21  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
11   03.02.2020 13:21  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
12   03.02.2020 12:44  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
13   03.02.2020 12:14  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
14   03.02.2020 12:10  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
15   03.02.2020 11:52  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
16   03.02.2020 11:09  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
17   03.02.2020 11:09  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
18   03.02.2020 11:05  ...  INNSIDEINFORMASJONINNSIDEINFORMASJONWWINNSIDEI...
19   03.02.2020 11:05  ...  INNSIDEINFORMASJONINNSIDEINFORMASJONWWINNSIDEI...
20   03.02.2020 10:49  ...  MELDING FRA ANDRE AKTØRERMELDING FRA ANDRE AKT...
21   03.02.2020 10:40  ...  KAPITAL- OG STEMMERETTSENDRINGERKAPITAL- OG ST...
22   03.02.2020 10:37  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
23   03.02.2020 09:56  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
24   03.02.2020 09:30  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
25   03.02.2020 08:30  ...  INNSIDEINFORMASJONINNSIDEINFORMASJONWWINNSIDEI...
26   03.02.2020 08:15  ...  SÆRLIG OBSERVASJONSÆRLIG OBSERVASJONWWSÆRLIG O...
27   03.02.2020 08:14  ...  SÆRLIG OBSERVASJONSÆRLIG OBSERVASJONWWSÆRLIG O...
28   03.02.2020 08:13  ...  SÆRLIG OBSERVASJONSÆRLIG OBSERVASJONWWSÆRLIG O...
29   03.02.2020 08:12  ...  SÆRLIG OBSERVASJONSÆRLIG OBSERVASJONWWSÆRLIG O...
..                ...  ...                                                ...
470  24.01.2020 13:51  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
471  24.01.2020 13:50  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
472  24.01.2020 13:50  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
473  24.01.2020 13:50  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
474  24.01.2020 13:50  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
475  24.01.2020 13:50  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
476  24.01.2020 13:47  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
477  24.01.2020 13:37  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
478  24.01.2020 13:37  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
479  24.01.2020 13:30  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
480  24.01.2020 13:15  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
481  24.01.2020 13:15  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
482  24.01.2020 13:07  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
483  24.01.2020 13:05  ...    RENTEREGULERINGRENTEREGULERINGWWRENTEREGULERING
484  24.01.2020 13:05  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
485  24.01.2020 13:00  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
486  24.01.2020 12:50  ...  INNSIDEINFORMASJONINNSIDEINFORMASJONWWINNSIDEI...
487  24.01.2020 12:35  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
488  24.01.2020 12:25  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
489  24.01.2020 12:14  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
490  24.01.2020 12:07  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
491  24.01.2020 12:03  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
492  24.01.2020 12:02  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
493  24.01.2020 11:59  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
494  24.01.2020 11:56  ...  NOTERING / OPPTAK AV VERDIPAPIRERNOTERING / OP...
495  24.01.2020 11:47  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
496  24.01.2020 11:36  ...  ANNEN INFORMASJONSPLIKTIG REGULATORISK INFORMA...
497  24.01.2020 10:39  ...  INNSIDEINFORMASJONINNSIDEINFORMASJONWWINNSIDEI...
498  24.01.2020 10:06  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...
499  24.01.2020 09:53  ...  IKKE-INFORMASJONSPLIKTIGE PRESSEMELDINGERIKKE-...

[500 rows x 7 columns]

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정2021-04-2

몇 마디 만하겠습니다

0리뷰

로그인참여 후 검토

Related 관련 기사

기사

한 웹 페이지 내의 다른 탭에서 콘텐츠 가져 오기

한 웹 페이지 내의 다른 탭에서 콘텐츠 가져 오기

Java의 외부 웹 페이지에서 콘텐츠 가져 오기

PHP로 다른 페이지에서 콘텐츠 가져 오기

jQuery 다른 페이지에서 DIV 콘텐츠 가져 오기

PHP 다른 PHP 페이지의 콘텐츠 가져 오기

DELPHI로 웹 페이지의 콘텐츠 가져 오기

Java의 URL에서 페이지 콘텐츠 가져 오기

Java의 URL에서 페이지 콘텐츠 가져 오기

python-요청을 사용하여 수백 개의 웹 페이지에서 콘텐츠 가져 오기

사용자가 탭을 클릭하지 않는 한 내 웹 사이트의 모든 콘텐츠 (다른 페이지의)가 동일한 탭 아래에 있습니다.

외부 웹 사이트에서 DIV 콘텐츠 가져 오기

PHP : 웹 사이트의 특정 콘텐츠 가져 오기

C #에서 웹 페이지 페이지 콘텐츠 및 HTTP 상태 코드 가져 오기

한 페이지에 다른 콘텐츠 만들기

jquery 페이지로드를 통해 다른 페이지 콘텐츠 가져 오기, 한 번로드하는 방법에 mouseover

페이지 템플릿에서 콘텐츠 유형의 이름 가져 오기

다른 컴퓨터의 다른 웹 페이지에서 HTML 가져 오기

웹 페이지 콘텐츠 가져 오기 (json 배열 사용)

UWP의 WebView에서 선택한 콘텐츠 가져 오기

현재 페이지를 다시로드하지 않고 양식 제출시 별도의 페이지에서 div로 페이지 콘텐츠 가져 오기

JavaScript-웹 페이지의 모든 DIV에 콘텐츠 쓰기

두 개의 다른 탭에 동일한 콘텐츠 추가

PHP에서 웹 사이트 XMLHttpRequest에서 콘텐츠 가져 오기

다른 콘텐츠 맵에 대한 모든 맵 키 가져 오기 [문자열]

Java에서 "웹 콘텐츠"폴더의 절대 경로 가져 오기

상위 페이지에서 콘텐츠 가져 오기

상위 페이지에서 콘텐츠 가져 오기

원격 HTML 페이지에서 콘텐츠 가져 오기

페이지 콘텐츠의 높이 가져 오기

OS X Server Wiki-다른 위키 페이지에 표시 할 위키 페이지의 콘텐츠를 가져 오는 방법