Scrapy가 터미널에서 수율 결과를 표시하지 않음

아르투르 두 트라

내 스크립트를 실행 / 저장 한 후 다음과 같이 터미널에서 결과를 확인하려고했습니다.

코드는 매우 간단하지만 해결 방법을 찾을 수없는 것 같습니다.

import scrapy

class TickersSpider(scrapy.Spider):
    name = 'tickers'
    allowed_domains = ['www.seekingalpha.com/']
    start_urls = ['https://seekingalpha.com/market-news/on-the-move']

    def parse(self, response):
        articles_all = response.xpath('//div[@class="title"]/a/text()').getall()
        articles_gainers = response.path('//div[@class="title"]/a[contains(text(), "remarket gainers")]/text()').getall()
    
        yield {
            'articles': articles_all,
            'articles_gainers': articles_gainers
            }
        

또한 올바른 디렉토리에서 실행 중인지 다시 확인했습니다. 이것은 내가 scrapy crawl tickers터미널에서 실행할 때 나타나는 것입니다.

2020-07-25 16:53:35 [scrapy.utils.log] INFO: Scrapy 2.2.0 started (bot: seekingalpha)
2020-07-25 16:53:35 [scrapy.utils.log] INFO: Versions: lxml 4.5.2.0, libxml2 2.9.10, cssselect 1.1.0, parsel 1.6.0, w3lib 1.22.0, Twisted 20.3.0, Python 3.7.7 (default, May  6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1g  21 Apr 2020), cryptography 3.0, Platform Windows-10-10.0.18362-SP0
2020-07-25 16:53:35 [scrapy.utils.log] DEBUG: Using reactor: twisted.internet.selectreactor.SelectReactor
2020-07-25 16:53:35 [scrapy.crawler] INFO: Overridden settings:
{'BOT_NAME': 'seekingalpha',
 'NEWSPIDER_MODULE': 'seekingalpha.spiders',
 'ROBOTSTXT_OBEY': True,
 'SPIDER_MODULES': ['seekingalpha.spiders']}
2020-07-25 16:53:35 [scrapy.extensions.telnet] INFO: Telnet Password: 2cb47f969c26a413
2020-07-25 16:53:35 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.logstats.LogStats']
2020-07-25 16:53:36 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2020-07-25 16:53:36 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2020-07-25 16:53:36 [scrapy.middleware] INFO: Enabled item pipelines:
[]
2020-07-25 16:53:36 [scrapy.core.engine] INFO: Spider opened
2020-07-25 16:53:36 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2020-07-25 16:53:36 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2020-07-25 16:53:36 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://seekingalpha.com/robots.txt> (referer: None)
2020-07-25 16:53:36 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://seekingalpha.com/market-news/on-the-move> (referer: None)
2020-07-25 16:53:37 [scrapy.core.scraper] ERROR: Spider error processing <GET https://seekingalpha.com/market-news/on-the-move> (referer: None)
Traceback (most recent call last):
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\utils\defer.py", line 120, in iter_errback
    yield next(it)
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\utils\python.py", line 346, in __next__
    return next(self.data)
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\utils\python.py", line 346, in __next__
    return next(self.data)
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\spidermiddlewares\offsite.py", line 29, in process_spider_output
    for x in result:
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\spidermiddlewares\referer.py", line 340, in <genexpr>
    return (_set_referer(r) for r in result or ())
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\spidermiddlewares\urllength.py", line 37, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\spidermiddlewares\depth.py", line 58, in <genexpr>
    return (r for r in result or () if _filter(r))
  File "C:\Users\MICRO\Anaconda3\envs\virtual_workspace\lib\site-packages\scrapy\core\spidermw.py", line 64, in _evaluate_iterable
    for r in iterable:
  File "C:\Users\MICRO\PythonDir\projects\seekingalpha\seekingalpha\spiders\tickers.py", line 11, in parse
    articles_gainers = response.path('//div[@class="title"]/a[contains(text(), "remarket gainers")]').getall()
AttributeError: 'HtmlResponse' object has no attribute 'path'
2020-07-25 16:53:37 [scrapy.core.engine] INFO: Closing spider (finished)
2020-07-25 16:53:37 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 511,
 'downloader/request_count': 2,
 'downloader/request_method_count/GET': 2,
 'downloader/response_bytes': 158291,
 'downloader/response_count': 2,
 'downloader/response_status_count/200': 1,
 'downloader/response_status_count/403': 1,
 'elapsed_time_seconds': 0.987867,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2020, 7, 25, 19, 53, 37, 13084),
 'log_count/DEBUG': 2,
 'log_count/ERROR': 1,
 'log_count/INFO': 10,
 'response_received_count': 2,
 'robotstxt/request_count': 1,
 'robotstxt/response_count': 1,
 'robotstxt/response_status_count/403': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'spider_exceptions/AttributeError': 1,
 'start_time': datetime.datetime(2020, 7, 25, 19, 53, 36, 25217)}
2020-07-25 16:53:37 [scrapy.core.engine] INFO: Spider closed (finished)
            

어떤 도움이라도 대단히 감사하겠습니다.

renatodvc

문제는 코드의 오타입니다.

    articles_gainers = response.path('//div[@class="title"]/a[contains(text(), "remarket gainers")]/text()').getall()

response.xpath()대신 이어야합니다 response.path(). 이것이 예외 메시지가 알려주는 내용입니다.

AttributeError: 'HtmlResponse' object has no attribute 'path'

이 기사는 인터넷에서 수집됩니다. 재 인쇄 할 때 출처를 알려주십시오.

침해가 발생한 경우 연락 주시기 바랍니다[email protected] 삭제

에서 수정
0

몇 마디 만하겠습니다

0리뷰
로그인참여 후 검토

관련 기사

분류에서Dev

SysRq가 터미널에 결과를 표시하지 않습니다.

분류에서Dev

javac가 Windows 10에서 결과를 표시하지 않음

분류에서Dev

XMLMapper가 UITableView에 결과를 표시하지 않음

분류에서Dev

결과를 표시하지 않고 Python에서 터미널 명령 실행

분류에서Dev

Ncurses가 그놈 터미널에서 창 테두리를 올바르게 표시하지 않음

분류에서Dev

안드로이드가 PHP에서 결과를 표시하지 않음

분류에서Dev

Microsft 그래프 API 쿼리가 필수 결과를 표시하지 않음

분류에서Dev

생성자 함수가 올바른 결과를 표시하지 않음

분류에서Dev

ORACLE 날짜 필터가 정확한 날짜 결과를 표시하지 않음

분류에서Dev

Ubuntu 14.04.2에서 Enter 키를 누를 때까지 터미널에 프롬프트가 표시되지 않음

분류에서Dev

API, 결과를 두 번 표시하고 순서가 올바르지 않음

분류에서Dev

Codeigniter보기에 Foreach 루프가 결과를 표시하지 않음

분류에서Dev

intellij 콘솔이 터미널에서 경고를 표시하지 않음

분류에서Dev

iOS 10에서 UICollectionView가 이미지를 표시하지 않음

분류에서Dev

pandas asfreq () 함수가 결과를 표시하지 않습니다.

분류에서Dev

초기화 시퀀스가 완료되었지만 터미널에서 프롬프트를 표시하지 않음

분류에서Dev

Elastic Search를 사용하는 Django Haystack에서 사용자 지정보기에 결과가 표시되지 않음

분류에서Dev

내 결과가 지오메트리 이미지에 결과를 표시하지 않습니다.

분류에서Dev

iOS Watch ComplicationController가 결과를 표시하지 않음

분류에서Dev

Xcode 12가 모든 검색 결과를 표시하지 않음

분류에서Dev

JS for 루프가 올바른 결과를 표시하지 않음

분류에서Dev

ListView가 JSON의 결과를 표시하지 않음

분류에서Dev

PHP PDO SELECT 쿼리가 결과를 표시하지 않음

분류에서Dev

KnockoutJS foreach가 때때로 결과를 표시하지 않음

분류에서Dev

PHP preg_match가 결과를 표시하지 않음

분류에서Dev

Sparql 쿼리가 결과를 표시하지 않음

분류에서Dev

SonarQube가 Team Build의 분석 결과를 표시하지 않음

분류에서Dev

JSP가 결과를 표시하지 않음

분류에서Dev

tkinker optionmenu가 선택한 결과를 표시하지 않음

Related 관련 기사

  1. 1

    SysRq가 터미널에 결과를 표시하지 않습니다.

  2. 2

    javac가 Windows 10에서 결과를 표시하지 않음

  3. 3

    XMLMapper가 UITableView에 결과를 표시하지 않음

  4. 4

    결과를 표시하지 않고 Python에서 터미널 명령 실행

  5. 5

    Ncurses가 그놈 터미널에서 창 테두리를 올바르게 표시하지 않음

  6. 6

    안드로이드가 PHP에서 결과를 표시하지 않음

  7. 7

    Microsft 그래프 API 쿼리가 필수 결과를 표시하지 않음

  8. 8

    생성자 함수가 올바른 결과를 표시하지 않음

  9. 9

    ORACLE 날짜 필터가 정확한 날짜 결과를 표시하지 않음

  10. 10

    Ubuntu 14.04.2에서 Enter 키를 누를 때까지 터미널에 프롬프트가 표시되지 않음

  11. 11

    API, 결과를 두 번 표시하고 순서가 올바르지 않음

  12. 12

    Codeigniter보기에 Foreach 루프가 결과를 표시하지 않음

  13. 13

    intellij 콘솔이 터미널에서 경고를 표시하지 않음

  14. 14

    iOS 10에서 UICollectionView가 이미지를 표시하지 않음

  15. 15

    pandas asfreq () 함수가 결과를 표시하지 않습니다.

  16. 16

    초기화 시퀀스가 완료되었지만 터미널에서 프롬프트를 표시하지 않음

  17. 17

    Elastic Search를 사용하는 Django Haystack에서 사용자 지정보기에 결과가 표시되지 않음

  18. 18

    내 결과가 지오메트리 이미지에 결과를 표시하지 않습니다.

  19. 19

    iOS Watch ComplicationController가 결과를 표시하지 않음

  20. 20

    Xcode 12가 모든 검색 결과를 표시하지 않음

  21. 21

    JS for 루프가 올바른 결과를 표시하지 않음

  22. 22

    ListView가 JSON의 결과를 표시하지 않음

  23. 23

    PHP PDO SELECT 쿼리가 결과를 표시하지 않음

  24. 24

    KnockoutJS foreach가 때때로 결과를 표시하지 않음

  25. 25

    PHP preg_match가 결과를 표시하지 않음

  26. 26

    Sparql 쿼리가 결과를 표시하지 않음

  27. 27

    SonarQube가 Team Build의 분석 결과를 표시하지 않음

  28. 28

    JSP가 결과를 표시하지 않음

  29. 29

    tkinker optionmenu가 선택한 결과를 표시하지 않음

뜨겁다태그

보관