Python urllib가 웹 사이트에서 독자 댓글을 추출하지 않습니다.
사용자 7009553
아래 코드를 사용하여 다음 페이지에서 독자 의견을 추출하려고합니다. 그러나 출력 html test.html 에는 페이지의 주석이 포함되어 있지 않습니다. 파이썬으로이 정보를 어떻게 얻습니까?
from bs4 import BeautifulSoup
import urllib
import urllib.request
import urllib.parse
req =urllib.request.Request('http://www.theglobeandmail.com/opinion/it-doesnt-matter-who-won-the-debate-america-has-already-lost/article32314064/comments/')
response = urllib.request.urlopen(req)
the_page = response.read()
soup = BeautifulSoup(the_page, 'html.parser')
f = open('test.html', 'w')
f.write(soup.prettify())
f.close()
감사!
Padraic Cunningham
주석은 모방 할 수있는 ajax 요청을 사용하여 검색됩니다.
수많은 매개 변수가 있음을 알 수 있지만, 아래 내용은 결과를 얻기에 충분합니다. 결과에 영향을 미칠 수있는 방법을 알아 내기 위해 맡기겠습니다.
from json import loads
from urllib.request import urlopen
from urllib.parse import urlencode
data = {"categoryID":"Production",
"streamID":"32314064",
"APIKey":"2_oNjjtSC8Qc250slf83cZSd4sbCzOF4cCiqGIBF8__5dWzOJY_MLAoZvds76cHeQD",
"callback" :"foo",}
r = urlopen("http://comments.us1.gigya.com/comments.getComments", data=urlencode(data).encode("utf-8"))
json_dcts = loads(r.read().decode("utf-8"))["comments"]
print(json_dcts)
그것은 당신에게 모든 코멘트, upvotes, negvotes 등을 담은 dicts의 목록을 제공합니다. 만약 당신이 키를 파싱하기를 원한다면 그것은 th scripts 중 하나의 url에 있고 src='https://cdns.gigya.com/js/socialize.js?apiKey=2_oNjjtSC8Qc250slf83cZSd4sbCzOF4cCiqGIBF8__5dWzOJY_MLAoZvds76cHeQD', streamID 는 당신의 원래 url에 있습니다.
이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.
침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제
에서 수정
관련 기사
Related 관련 기사
- 1
내 웹 사이트의 블로거 댓글 상자에 기본 텍스트를 추가하고 싶습니다.
- 2
Python을 사용하여 YouTube 댓글 분석-매개 변수가 댓글을 사용 중지했습니다.
- 3
제출 버튼을 클릭해도 댓글이 추가되지 않습니다.
- 4
(장고) ForeignKey 및 댓글 : 댓글을 게시 한 사용자의 사용자 이름을 저장하는 데 문제가 있습니다.
- 5
내 웹 사이트 (jekyll)에서 disqus 댓글을받을 수 없습니다.
- 6
페이지 게시물에서 특정 사용자의 댓글을 가져 오시겠습니까?
- 7
Page_load 메소드가 서버 측 조건부 값을 유출하여 다른 웹 사이트에서 사용자를 추적 할 수 있습니다.
- 8
이미 클릭 한 댓글이있는 버튼은 다음에 사용자가 앱을 열 때 표시되지 않습니다.
- 9
ActiveAdmin 댓글 페이지에 대한 사용자 지정`index do ... end` 블록을 어디에 추가합니까?
- 10
웹 사이트가 이미 설치된 글꼴 만 사용하고 Firefox에서 자체 글꼴을 다운로드하지 않도록 허용
- 11
Selenium을 사용하여 웹 페이지에서 데이터를 추출하는 데 문제가 있습니다.
- 12
Python Selenium은 웹 사이트에서 이미지 이름을 가져옵니다.
- 13
사용자가 다른 사용자의 댓글을 업데이트 / 파괴 할 수 없는지 테스트
- 14
YouTube API를 사용하는 다른 사용자가 작성한 댓글을 평가 하시겠습니까?
- 15
Python의 Pandas 모듈을 사용하여 웹 사이트에서 추출한 항목을 길이가 다른 목록이있는 .xls 시트에 쓰기
- 16
내 웹 페이지에 사용자 지정 글꼴을 추가 할 수 없습니다.
- 17
ReferenceError : YouTube가 정의되지 않았습니다. 스프레드 시트에 YouTube 댓글을 삽입하세요.
- 18
컴퓨터에 글꼴을 설치하지 않은 사용자는 웹 사이트에서 볼 수 없습니다.
- 19
MVC 5 웹 사이트에서 멋진 글꼴을 사용할 때 이미지가 없습니다.
- 20
사용자가 특정 댓글을 좋아하는지 확인
- 21
django (Python)의 기사에 댓글을 추가하는 방법은 무엇입니까?
- 22
신문 웹 사이트에서 URL을 추출하는 동안 오류가 발생했습니다.
- 23
Python을 사용하여 웹 사이트에서 img URL 추출
- 24
Python을 사용하여 웹 사이트에서 날짜 추출
- 25
웹 페이지가 자바 스크립트를 사용하여 추가 된 사진을 렌더링하지 않습니다.
- 26
Python 라이브러리 pdfplumber가 행을 추출하지 않습니다.
- 27
내 웹 사이트에서 Google 글꼴이 작동하지 않습니다.
- 28
Python Urllib POST 응답이 올바른 값을 가져 오지 않습니다.
- 29
DB가 댓글을 저장하지 않는 이유 (장고)
몇 마디 만하겠습니다