将流通过管道传输到s3.upload()

o

我目前正在使用名为s3-upload-stream的node.js插件非常大的文件流式传输到Amazon S3。它使用了多部分的API,并且在大多数情况下效果很好。

但是,此模块显示了它的年龄,我已经不得不对其进行修改(作者也已弃用它)。今天,我遇到了另一个与亚马逊有关的问题,我真的很想接受作者的建议,并开始使用官方的aws-sdk完成上传。

但。

官方的SDK似乎不支持管道到s3.upload()s3.upload的本质是,您必须将可读流作为参数传递给S3构造函数。

我大约有120多个用户代码模块,可以执行各种文件处理,并且它们与输出的最终目标无关。引擎将它们传递给可管道传输的可写输出流,并通过管道传递给它。我不能给他们一个AWS.S3对象并要求他们调用upload()它,而无需在所有模块中添加代码。我之所以使用s3-upload-stream它是因为它支持管道。

有没有什么方法可以将aws-sdks3.upload()传送到流中?

凯西·本科(Casey Benko)

upload()用node.jsstream.PassThrough()包装S3函数

这是一个例子:

inputStream
  .pipe(uploadFromStream(s3));

function uploadFromStream(s3) {
  var pass = new stream.PassThrough();

  var params = {Bucket: BUCKET, Key: KEY, Body: pass};
  s3.upload(params, function(err, data) {
    console.log(err, data);
  });

  return pass;
}

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用Python通过流将数据从S3传输到FTP服务器

来自分类Dev

通过Chef将资源从Amazon S3传输到Tomcat

来自分类Dev

如何通过Azure网站上的Node.js应用程序将大文件的上传流通过管道传输到Azure Blob存储?

来自分类Dev

使用Paramiko将文件从SFTP传输到S3

来自分类Dev

Fineuploader:将大型文件传输到Amazon S3

来自分类Dev

通过服务器将S3中的图像流传输到客户端的最佳实践

来自分类Dev

通过ng-file-upload上传到Amazon S3;错误400

来自分类Dev

我无法将终端输出通过管道传输到文件

来自分类Dev

您如何将“ echo”通过管道传输到“ openssl”?

来自分类Dev

将文件通过管道传输到uglifyjs-从Powershell

来自分类Dev

如何通过管道将多个文件传输到ffmpeg?

来自分类Dev

我无法将终端输出通过管道传输到文件

来自分类Dev

如何通过管道将任何内容传输到音频输出?

来自分类Dev

将加密的存档通过管道传输到上传器

来自分类Dev

将“ * .squashfs”的查找结果通过管道传输到unsquashfs

来自分类Dev

尝试通过管道将图像传输到ssh stdin输入

来自分类Dev

将parec的输出通过管道传输到sox

来自分类Dev

Python 将变量通过管道传输到 logstash

来自分类Dev

是否可以将头输出通过管道传输到 sed?

来自分类Dev

如何将文件的输出通过管道传输到命令?

来自分类Dev

使用Boto 3将文件从AWS S3传输到SFTP

来自分类Dev

正在将文件流式传输到S3“错误:流意外终止”

来自分类Dev

使用AWS PHP SDK将文件安全传输到S3

来自分类Dev

如何将数据从AWS Postgres RDS传输到S3(然后称为Redshift)?

来自分类Dev

使用NodeJS + Express,aws-sdk将文件直接流式传输到s3

来自分类Dev

使用go将文件流传输到AWS S3

来自分类Dev

如何使用Knox将文件从NodeJS流传输到Amazon S3?

来自分类Dev

使用水槽将数据流传输到S3

来自分类Dev

如何将数据从EBS卷传输到S3存储桶?

Related 相关文章

  1. 1

    使用Python通过流将数据从S3传输到FTP服务器

  2. 2

    通过Chef将资源从Amazon S3传输到Tomcat

  3. 3

    如何通过Azure网站上的Node.js应用程序将大文件的上传流通过管道传输到Azure Blob存储?

  4. 4

    使用Paramiko将文件从SFTP传输到S3

  5. 5

    Fineuploader:将大型文件传输到Amazon S3

  6. 6

    通过服务器将S3中的图像流传输到客户端的最佳实践

  7. 7

    通过ng-file-upload上传到Amazon S3;错误400

  8. 8

    我无法将终端输出通过管道传输到文件

  9. 9

    您如何将“ echo”通过管道传输到“ openssl”?

  10. 10

    将文件通过管道传输到uglifyjs-从Powershell

  11. 11

    如何通过管道将多个文件传输到ffmpeg?

  12. 12

    我无法将终端输出通过管道传输到文件

  13. 13

    如何通过管道将任何内容传输到音频输出?

  14. 14

    将加密的存档通过管道传输到上传器

  15. 15

    将“ * .squashfs”的查找结果通过管道传输到unsquashfs

  16. 16

    尝试通过管道将图像传输到ssh stdin输入

  17. 17

    将parec的输出通过管道传输到sox

  18. 18

    Python 将变量通过管道传输到 logstash

  19. 19

    是否可以将头输出通过管道传输到 sed?

  20. 20

    如何将文件的输出通过管道传输到命令?

  21. 21

    使用Boto 3将文件从AWS S3传输到SFTP

  22. 22

    正在将文件流式传输到S3“错误:流意外终止”

  23. 23

    使用AWS PHP SDK将文件安全传输到S3

  24. 24

    如何将数据从AWS Postgres RDS传输到S3(然后称为Redshift)?

  25. 25

    使用NodeJS + Express,aws-sdk将文件直接流式传输到s3

  26. 26

    使用go将文件流传输到AWS S3

  27. 27

    如何使用Knox将文件从NodeJS流传输到Amazon S3?

  28. 28

    使用水槽将数据流传输到S3

  29. 29

    如何将数据从EBS卷传输到S3存储桶?

热门标签

归档