Python 将数据流式传输到 S3 但出现 104 错误是最好的方法

ck3mp

我目前正在尝试将 API 响应作为 JSON 文件流式传输到 S3。我无法写入本地驱动器。但我不断收到“104 Connection reset by peer”错误。我想知道我的代码是否是最好的方法,它是否会导致问题?

这是我目前的方法

s3 = boto3.resource('s3', region_name='eu-west-1')
s3object = s3.Object(s3_bucket, output_file)
s3object.put(Body=(bytes(json.dumps(obj).encode('UTF-8'))))
尼纳德·盖夸德

这是boto 中公认的问题你的方法没有任何问题。也许尝试在另一个地区创建一个存储桶。或者,如果可以在本地捕获数据,则将其上传到 s3。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

BigQuery,table在查询数据并将数据流式传输到其中时出现不可用错误

来自分类Dev

将数据流传输到BigQuery时开始出现错误503

来自分类Dev

将数据流传输到BigQuery时开始出现错误503

来自分类Dev

正在将文件流式传输到S3“错误:流意外终止”

来自分类Dev

正在将文件流式传输到S3“错误:流意外终止”

来自分类Dev

使用Python通过流将数据从S3传输到FTP服务器

来自分类Dev

使用 gsutil 将数据从 aws s3 传输到 gcs - SSL 认证错误

来自分类Dev

使用水槽将数据流传输到S3

来自分类Dev

将连续数据从python脚本流式传输到NodeJS

来自分类Dev

使用 boto3 和 python flask 将 CSV 文件上传到 S3 存储桶时出现错误 500

来自分类Dev

通过boto3更新S3对象元数据时出现签名错误

来自分类Dev

将 Python 中的大文件复制到 S3 存储桶时出现 OSError

来自分类Dev

从 S3 创建数据源时出现 AWS 机器学习错误

来自分类Dev

从S3将嵌套文本文件读入Spark时出现内存错误

来自分类Dev

将5G文件上传到Amazon S3时出现EntityTooLarge错误

来自分类Dev

将文件从s3://复制到本地(hadoop)文件系统时出现错误

来自分类Dev

将文件从s3://复制到本地(hadoop)文件系统时出现错误

来自分类Dev

使用Boto从S3流式传输.gz文件时出现无限循环

来自分类Dev

使用列标题将Python JSON数据流传输到PySpark Dataframe中

来自分类Dev

使用NodeJS + Express,aws-sdk将文件直接流式传输到s3

来自分类Dev

使用可笑的内存量使用lambda将文件从URI直接流式传输到S3

来自分类Dev

如何将图像流式传输到Amazon S3

来自分类Dev

将“Azure Blob 存储”文件 URL 流式传输到 Amazon S3 存储桶

来自分类Dev

尝试使用 boto3 将 numpy 数组上传到 s3 时出现 Pyspark 酸洗错误

来自分类Dev

使用Apache Flume将数据流传输到Amazon S3时如何启用服务器端加密

来自分类Dev

将数据流式传输到Druid服务器

来自分类Dev

将文件从 S3 Bucket 传输到另一个保存文件夹结构 - python boto

来自分类Dev

将文件从 AWS lambda 上传到 S3 时出现 MD-5 校验和错误

来自分类Dev

尝试使用python2.7中的boto3模块从S3存储桶和S3存储桶获取CSV文件时出现无效的时间戳记错误

Related 相关文章

  1. 1

    BigQuery,table在查询数据并将数据流式传输到其中时出现不可用错误

  2. 2

    将数据流传输到BigQuery时开始出现错误503

  3. 3

    将数据流传输到BigQuery时开始出现错误503

  4. 4

    正在将文件流式传输到S3“错误:流意外终止”

  5. 5

    正在将文件流式传输到S3“错误:流意外终止”

  6. 6

    使用Python通过流将数据从S3传输到FTP服务器

  7. 7

    使用 gsutil 将数据从 aws s3 传输到 gcs - SSL 认证错误

  8. 8

    使用水槽将数据流传输到S3

  9. 9

    将连续数据从python脚本流式传输到NodeJS

  10. 10

    使用 boto3 和 python flask 将 CSV 文件上传到 S3 存储桶时出现错误 500

  11. 11

    通过boto3更新S3对象元数据时出现签名错误

  12. 12

    将 Python 中的大文件复制到 S3 存储桶时出现 OSError

  13. 13

    从 S3 创建数据源时出现 AWS 机器学习错误

  14. 14

    从S3将嵌套文本文件读入Spark时出现内存错误

  15. 15

    将5G文件上传到Amazon S3时出现EntityTooLarge错误

  16. 16

    将文件从s3://复制到本地(hadoop)文件系统时出现错误

  17. 17

    将文件从s3://复制到本地(hadoop)文件系统时出现错误

  18. 18

    使用Boto从S3流式传输.gz文件时出现无限循环

  19. 19

    使用列标题将Python JSON数据流传输到PySpark Dataframe中

  20. 20

    使用NodeJS + Express,aws-sdk将文件直接流式传输到s3

  21. 21

    使用可笑的内存量使用lambda将文件从URI直接流式传输到S3

  22. 22

    如何将图像流式传输到Amazon S3

  23. 23

    将“Azure Blob 存储”文件 URL 流式传输到 Amazon S3 存储桶

  24. 24

    尝试使用 boto3 将 numpy 数组上传到 s3 时出现 Pyspark 酸洗错误

  25. 25

    使用Apache Flume将数据流传输到Amazon S3时如何启用服务器端加密

  26. 26

    将数据流式传输到Druid服务器

  27. 27

    将文件从 S3 Bucket 传输到另一个保存文件夹结构 - python boto

  28. 28

    将文件从 AWS lambda 上传到 S3 时出现 MD-5 校验和错误

  29. 29

    尝试使用python2.7中的boto3模块从S3存储桶和S3存储桶获取CSV文件时出现无效的时间戳记错误

热门标签

归档