port web scraper,scrapy 0.24,到python3。或者使用更好的东西

Smatthewenglish

我试图用小号废话Ÿ使Web刮但我遇到了许多问题,因为它使用Python2。是否可以同时对tarball中的所有文件运行2to3命令?这会导致无法预料的错误吗?是否有替代的Web刮板框架,它是最新的,更实用的,还是可以推荐使用?

我之所以这么说,是因为关于运行scrapy 0.24版本所固有的问题,表单上似乎没有太多活动,也就是说,它是用python 2编写的。

如果scrapy是最佳选择,而移植则不是一个好主意,那么在面向python3的机器上运行它的最佳方法是什么?一个仅使用python 2或其他可以在配置文件中更改的命令来运行它。

更新

如果遇到此类问题,您需要做的是:

只需使用运行setup.py脚本python2,即

python2 setup.py install

然后您就可以开始工作了,这很好。

^如@alecxe所示

ec

移植Scrapy到Python 3的问题在于它Scrapy内置在twisted事件驱动框架之上的,框架目前尚不存在

没有像ScrapyPython 3一样强大和成熟的网络抓取框架。虽然pyspider看起来很有希望,但是有点不同,请参阅:

此外,还有其他与网络抓取和html解析有关的库,它们支持Python 3:

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用属性server.port = 0运行spock测试时如何查找Spring Boot容器的端口

来自分类Dev

在VS调试模式下,无法使用ip:port访问WEB API,但可以使用localhost:port

来自分类Dev

Web进程在启动node.js的60秒内未能绑定到$ PORT

来自分类Dev

使用Web :: Scraper刮除table#id列

来自分类Dev

Web Scraper用于python中的动态表单

来自分类Dev

如何使用Web :: Scraper解析此HTML?

来自分类Dev

在启动后的90秒内,Heroku- Web进程未能绑定到$ PORT。TooTallNate Websockets

来自分类Dev

C ++中免费的TCP端口列表,但不使用port = 0的bind()

来自分类Dev

使用python和scrapy从Web提取文本

来自分类Dev

使用python Web Scraper提取n个图像

来自分类Dev

Python Youtube Web Scraper无法正常工作

来自分类Dev

Python Web Scraper无法保存图像文件

来自分类Dev

Heroku Node.js-错误R10(引导超时)-> Web进程无法绑定到$ PORT

来自分类Dev

Python-使用Scrapy进行Web抓取

来自分类Dev

Python Web scraper没有获得某些值

来自分类Dev

使用Python Web Scraper过滤网页上字符串后的数字

来自分类Dev

使用Scrapy(Python)进行Web数据抓取(在线新闻评论)

来自分类Dev

Web进程在启动node.js的60秒内未能绑定到$ PORT

来自分类Dev

使用IPv6访问非port80 Web服务器

来自分类Dev

使用Python和Scrapy的IMDB Scraper

来自分类Dev

如何使用Web :: Scraper解析此HTML?

来自分类Dev

使用Scrapy进行递归Web爬网

来自分类Dev

如何使用MAMP打开Web套接字PORT

来自分类Dev

使用Web :: Scraper从.onion网站进行抓取

来自分类Dev

Python Web Scraper打印问题

来自分类Dev

Python Web Scraper:我的脚本只是打印第一个,而不是全部?

来自分类Dev

Akka 应用程序到 Heroku 出现错误:Web 进程无法绑定到 $PORT

来自分类Dev

尝试制作 Java Web Scraper

来自分类Dev

另一个 Web 进程未能在启动后 60 秒内绑定到 $PORT

Related 相关文章

  1. 1

    使用属性server.port = 0运行spock测试时如何查找Spring Boot容器的端口

  2. 2

    在VS调试模式下,无法使用ip:port访问WEB API,但可以使用localhost:port

  3. 3

    Web进程在启动node.js的60秒内未能绑定到$ PORT

  4. 4

    使用Web :: Scraper刮除table#id列

  5. 5

    Web Scraper用于python中的动态表单

  6. 6

    如何使用Web :: Scraper解析此HTML?

  7. 7

    在启动后的90秒内,Heroku- Web进程未能绑定到$ PORT。TooTallNate Websockets

  8. 8

    C ++中免费的TCP端口列表,但不使用port = 0的bind()

  9. 9

    使用python和scrapy从Web提取文本

  10. 10

    使用python Web Scraper提取n个图像

  11. 11

    Python Youtube Web Scraper无法正常工作

  12. 12

    Python Web Scraper无法保存图像文件

  13. 13

    Heroku Node.js-错误R10(引导超时)-> Web进程无法绑定到$ PORT

  14. 14

    Python-使用Scrapy进行Web抓取

  15. 15

    Python Web scraper没有获得某些值

  16. 16

    使用Python Web Scraper过滤网页上字符串后的数字

  17. 17

    使用Scrapy(Python)进行Web数据抓取(在线新闻评论)

  18. 18

    Web进程在启动node.js的60秒内未能绑定到$ PORT

  19. 19

    使用IPv6访问非port80 Web服务器

  20. 20

    使用Python和Scrapy的IMDB Scraper

  21. 21

    如何使用Web :: Scraper解析此HTML?

  22. 22

    使用Scrapy进行递归Web爬网

  23. 23

    如何使用MAMP打开Web套接字PORT

  24. 24

    使用Web :: Scraper从.onion网站进行抓取

  25. 25

    Python Web Scraper打印问题

  26. 26

    Python Web Scraper:我的脚本只是打印第一个,而不是全部?

  27. 27

    Akka 应用程序到 Heroku 出现错误:Web 进程无法绑定到 $PORT

  28. 28

    尝试制作 Java Web Scraper

  29. 29

    另一个 Web 进程未能在启动后 60 秒内绑定到 $PORT

热门标签

归档