Ruby에서 전체 HTML 페이지 (AJAX 응답 포함) 가져 오기

ks2bmallik

Ajax 응답을 사용하여 제품 데이터가로드되는 전자 상거래 카탈로그를 크롤링하려고합니다.

따라서 get 요청을 사용한 응답의 콘텐츠가 불완전합니다 (부분 데이터).

가져 오기 및 Nokogiri구문 분석을 위해 Ruby의 기본 HTTP 라이브러리를 사용하고 있습니다.

요청을 시작하고 약간의 지연 후 응답을 기록 할 수있는 방법이 있습니까?

마르셀

ajax가 사용되기 때문에 자바 스크립트를 실행하기위한 자바 스크립트 엔진이있는 libary / method / way가 필요합니다 (자동으로 수행하려는 경우).

phantomjs와 같은 헤드리스 브라우저를 사용할 수 있습니다.

PhantomJS 프로젝트 홈페이지

Ruby 용 PhantomJS

위키 문서

기본적으로 프런트 엔드가없는 일반 브라우저입니다. PhantomJS는 Webkit 엔진 (예 : Safari에서 사용)을 사용합니다. 따라서 JS 및 AJAX를 실행할 수 있습니다.

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

html 객체 내부에서 json 데이터를 가져오고 객체는 ajax에서 응답 받기

분류에서Dev

ajax 호출을 사용하여 javascript 함수에 PHP 변수를 전달하고 동일한 페이지에서 응답 텍스트 가져 오기

분류에서Dev

Ajax 응답에서 imagepng 가져 오기

분류에서Dev

sequelize.js에서 잘못된 개체 이름 가져 오기 JSON 응답에 데이터에서 데이터로 메서드 포함

분류에서Dev

Ajax 응답이 페이지보기에 나오지 않음

분류에서Dev

Ajax 응답 호출에서 대상 페이지의 데이터 매개 변수를 가져 오는 방법

분류에서Dev

Struts2 jquery 플러그인은 전체 페이지의 HTML로 ajax 요청에 응답합니다.

분류에서Dev

페이지를 매긴 응답에서 모든 데이터 가져 오기

분류에서Dev

C # 사이트에서 전체 HTML 문서 가져 오기

분류에서Dev

ajax 응답에서 필드 가져 오기

분류에서Dev

Ajax 응답에서 div contet 가져 오기

분류에서Dev

ajax 응답에서 mysql 결과 집합 가져 오기

분류에서Dev

PHP가 이전 페이지의 양식에서 응답을받지 못함

분류에서Dev

Unity에서 전체 창 크기 (장식 포함) 가져 오기

분류에서Dev

Axios-응답 객체에서 요청 URI 데이터 가져 오기

분류에서Dev

HTML 페이지의 자바 스크립트 함수에 포함 된 값 가져 오기

분류에서Dev

HTML에서 Jquery를 사용하여 Ajax 호출하고 다른 Html 페이지에 대한 응답 받기

분류에서Dev

가져 오기 내에서 JSON 응답의 사전 객체 구문 분석

분류에서Dev

Ajax 데이터를 호출 함수로 다시 가져 오기-이전 답변에 대한 설명 필요

분류에서Dev

응답 처리가 완료되기 전 오류 페이지

분류에서Dev

GET / POST와 같은 서버에 JSON을 전달하여 ajax 응답 대신 파일 가져 오기

분류에서Dev

응답과 함께 비동기 ReadableStream을 사용하여 서비스 워커의 가져 오기 이벤트에서 HTML을 반환합니다.

분류에서Dev

YouTube 페이지 (Chrome 확장)에서 전환 후 실제 HTML 가져 오기

분류에서Dev

응답이 특정 크기를 초과하면 AJAX에서 오류가 발생 함

분류에서Dev

HttpClient 응답에서 이미지 가져 오기

분류에서Dev

json 응답에서 실제 이미지 경로 가져 오기

분류에서Dev

Redis에서 클라이언트의 전체 마지막 명령 (키 포함) 가져 오기

분류에서Dev

오류 함수의 JQuery AJAX HTML 응답

분류에서Dev

오류 함수의 JQuery AJAX HTML 응답

Related 관련 기사

  1. 1

    html 객체 내부에서 json 데이터를 가져오고 객체는 ajax에서 응답 받기

  2. 2

    ajax 호출을 사용하여 javascript 함수에 PHP 변수를 전달하고 동일한 페이지에서 응답 텍스트 가져 오기

  3. 3

    Ajax 응답에서 imagepng 가져 오기

  4. 4

    sequelize.js에서 잘못된 개체 이름 가져 오기 JSON 응답에 데이터에서 데이터로 메서드 포함

  5. 5

    Ajax 응답이 페이지보기에 나오지 않음

  6. 6

    Ajax 응답 호출에서 대상 페이지의 데이터 매개 변수를 가져 오는 방법

  7. 7

    Struts2 jquery 플러그인은 전체 페이지의 HTML로 ajax 요청에 응답합니다.

  8. 8

    페이지를 매긴 응답에서 모든 데이터 가져 오기

  9. 9

    C # 사이트에서 전체 HTML 문서 가져 오기

  10. 10

    ajax 응답에서 필드 가져 오기

  11. 11

    Ajax 응답에서 div contet 가져 오기

  12. 12

    ajax 응답에서 mysql 결과 집합 가져 오기

  13. 13

    PHP가 이전 페이지의 양식에서 응답을받지 못함

  14. 14

    Unity에서 전체 창 크기 (장식 포함) 가져 오기

  15. 15

    Axios-응답 객체에서 요청 URI 데이터 가져 오기

  16. 16

    HTML 페이지의 자바 스크립트 함수에 포함 된 값 가져 오기

  17. 17

    HTML에서 Jquery를 사용하여 Ajax 호출하고 다른 Html 페이지에 대한 응답 받기

  18. 18

    가져 오기 내에서 JSON 응답의 사전 객체 구문 분석

  19. 19

    Ajax 데이터를 호출 함수로 다시 가져 오기-이전 답변에 대한 설명 필요

  20. 20

    응답 처리가 완료되기 전 오류 페이지

  21. 21

    GET / POST와 같은 서버에 JSON을 전달하여 ajax 응답 대신 파일 가져 오기

  22. 22

    응답과 함께 비동기 ReadableStream을 사용하여 서비스 워커의 가져 오기 이벤트에서 HTML을 반환합니다.

  23. 23

    YouTube 페이지 (Chrome 확장)에서 전환 후 실제 HTML 가져 오기

  24. 24

    응답이 특정 크기를 초과하면 AJAX에서 오류가 발생 함

  25. 25

    HttpClient 응답에서 이미지 가져 오기

  26. 26

    json 응답에서 실제 이미지 경로 가져 오기

  27. 27

    Redis에서 클라이언트의 전체 마지막 명령 (키 포함) 가져 오기

  28. 28

    오류 함수의 JQuery AJAX HTML 응답

  29. 29

    오류 함수의 JQuery AJAX HTML 응답

뜨겁다태그

보관