cheerio로 비동기 스크립트를 스크랩 할 수 없습니다.

PaaBliiTo

크롤러를 만들기 위해 cheerio를 사용하고 있지만 일부 웹 사이트에서는 스크립트가 비동기 적이며 모든 스크립트를 가져 오려고 할 때 선택되지 않습니다. 내가 사용하는 코드는 다음과 같습니다.

function Test(webUrl) {
    request(webUrl, function(err, resp, html){
        if(!err && resp.statusCode == 200) {
            var $ = cheerio.load(html);
            console.log($('script'));
        }
    });
}

누군가가 어떤 해결책을 가지고 있습니까? 감사

hya

동적 콘텐츠를 스크랩하려면 PhantomJS를 사용해야합니다.

예 : http://code4node.com/snippet/web-scraping-with-node-and-phantomjs

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

내 자바 스크립트를로드 할 수 없습니다.

분류에서Dev

iframe에 스크립트를로드 할 수 없습니다.

분류에서Dev

실제로 특정 기간 동안 각 링크 콘텐츠를 스크랩 할 수 없습니다.

분류에서Dev

시스템 서비스 스크립트에서 로컬로 빌드 된 ntpd를 시작할 수 없습니다.

분류에서Dev

동적 웹 페이지를 스크랩 할 수 없습니다.

분류에서Dev

쉘 스크립트 내에서 다음 줄로 이동할 수 없습니다.

분류에서Dev

함수의 변수를 셸 스크립트의 기본 코드로 전달할 수 없습니다.

분류에서Dev

동적으로 생성 된 HTML에서 자바 스크립트 함수를 호출 할 수 없습니다.

분류에서Dev

Bash는 다른 스크립트를 통해 디렉토리로 이동할 수 없습니다.

분류에서Dev

자바 스크립트가 동적으로 생성 된 요소를 삭제할 수 없습니다.

분류에서Dev

자바 스크립트로 요소를 만들 때 Bootstrap 툴팁이 작동하도록 할 수 없습니다.

분류에서Dev

MacOSX 폴더로 이동하지 않고 Python 스크립트를 실행할 수 없습니다.

분류에서Dev

MacOSX 폴더로 이동하지 않고 Python 스크립트를 실행할 수 없습니다.

분류에서Dev

소나무 스크립트-인수로 plotchar를 호출 할 수 없습니다.

분류에서Dev

Pine 스크립트 "인수로 falling를 호출 할 수 없습니다 (series [float]).

분류에서Dev

Java 프로그램을 실행하기위한 Linux 스크립트를 사용할 수 없습니다.

분류에서Dev

편집기 스크립트의 변수를 저장할 수 없습니다.

분류에서Dev

루비 스크립트에서 CD를 사용할 수 없습니다.

분류에서Dev

vim에서 fzf로 스크립트를 실행할 수 없습니다.

분류에서Dev

npm 스크립트에서 Autoprefixer를 제대로 구성 할 수 없습니다.

분류에서Dev

IE에서 로컬 스크립트를 실행할 수 없습니다.

분류에서Dev

자바 스크립트로 결과를 추가 할 수 없습니다.

분류에서Dev

PHP 스크립트로 레코드를 삭제할 수 없습니다

분류에서Dev

Perl 코드를 CGI 스크립트로 실행할 수 없습니다.

분류에서Dev

ant exec 작업으로 bash 스크립트를 실행할 수 없습니다.

분류에서Dev

jquery로 타사 스크립트에서 div를 제거 할 수 없습니다.

분류에서Dev

자동 증분 빌드 스크립트를 실행할 수 없습니다.

분류에서Dev

권한이 'x'인 동안 스크립트를 실행할 수 없습니다.

분류에서Dev

다른 스크립트의 스크립트를 사용할 수 없습니다.

Related 관련 기사

  1. 1

    내 자바 스크립트를로드 할 수 없습니다.

  2. 2

    iframe에 스크립트를로드 할 수 없습니다.

  3. 3

    실제로 특정 기간 동안 각 링크 콘텐츠를 스크랩 할 수 없습니다.

  4. 4

    시스템 서비스 스크립트에서 로컬로 빌드 된 ntpd를 시작할 수 없습니다.

  5. 5

    동적 웹 페이지를 스크랩 할 수 없습니다.

  6. 6

    쉘 스크립트 내에서 다음 줄로 이동할 수 없습니다.

  7. 7

    함수의 변수를 셸 스크립트의 기본 코드로 전달할 수 없습니다.

  8. 8

    동적으로 생성 된 HTML에서 자바 스크립트 함수를 호출 할 수 없습니다.

  9. 9

    Bash는 다른 스크립트를 통해 디렉토리로 이동할 수 없습니다.

  10. 10

    자바 스크립트가 동적으로 생성 된 요소를 삭제할 수 없습니다.

  11. 11

    자바 스크립트로 요소를 만들 때 Bootstrap 툴팁이 작동하도록 할 수 없습니다.

  12. 12

    MacOSX 폴더로 이동하지 않고 Python 스크립트를 실행할 수 없습니다.

  13. 13

    MacOSX 폴더로 이동하지 않고 Python 스크립트를 실행할 수 없습니다.

  14. 14

    소나무 스크립트-인수로 plotchar를 호출 할 수 없습니다.

  15. 15

    Pine 스크립트 "인수로 falling를 호출 할 수 없습니다 (series [float]).

  16. 16

    Java 프로그램을 실행하기위한 Linux 스크립트를 사용할 수 없습니다.

  17. 17

    편집기 스크립트의 변수를 저장할 수 없습니다.

  18. 18

    루비 스크립트에서 CD를 사용할 수 없습니다.

  19. 19

    vim에서 fzf로 스크립트를 실행할 수 없습니다.

  20. 20

    npm 스크립트에서 Autoprefixer를 제대로 구성 할 수 없습니다.

  21. 21

    IE에서 로컬 스크립트를 실행할 수 없습니다.

  22. 22

    자바 스크립트로 결과를 추가 할 수 없습니다.

  23. 23

    PHP 스크립트로 레코드를 삭제할 수 없습니다

  24. 24

    Perl 코드를 CGI 스크립트로 실행할 수 없습니다.

  25. 25

    ant exec 작업으로 bash 스크립트를 실행할 수 없습니다.

  26. 26

    jquery로 타사 스크립트에서 div를 제거 할 수 없습니다.

  27. 27

    자동 증분 빌드 스크립트를 실행할 수 없습니다.

  28. 28

    권한이 'x'인 동안 스크립트를 실행할 수 없습니다.

  29. 29

    다른 스크립트의 스크립트를 사용할 수 없습니다.

뜨겁다태그

보관