将大型高清视频文件上传到Amazon Web Services S3

亚当

最终目标:将大型视频文件(<200MB-3GB)从内容制作者的计算机上载到AWS S3存储桶以使用Elastic Transcoder服务。

  • 内容制作者将是专业用户,因此,他们自己承担一点点额外的工作就不会造成太大的负担。但是,对他们(和我)尽可能简单地进行是理想的。如果可以使用网络表单来启动,那将是最好的。
  • 不会有数百个内容制作者,因此可以花一些额外的时间或精力为每个单独的内容制作者建立某种帐户或流程。尽管自动化为王。
  • 有人说您可以使用某种Java Applet或Silverlight。
  • 我想到的一件事是使用SFTP首先上传到EC2,然后再将其移动到S3。但是听起来有点像使它变得安全的痛苦。
  • 经过一些研究,我发现S3允许跨域资源共享。因此,这可以允许直接上传到S3。但是,大文件的稳定性如何?
  • 看起来S3也允许分段上传。

有任何想法吗?

迈克尔-SQLbot

您可以用几乎任何您可以编写代码的方式实现前端,以说出本机S3分段上传...由于稳定性,我为此建议使用这种方法。

通过分段上传,“您”(我建议是开发人员,而不是最终用户)选择了一个部分大小,每个部分最小5MB,文件不能超过10,000个“部分”,每个部分的大小完全相同(在上传开始时选择的一个“您”,但最后一部分除外,但是最后一部分会剩下很多字节...因此,上传文件的最终最大大小取决于部分大小你选。

一个“部分”的大小实际上就是您可重新启动/可重试的块大小(win!)...,因此您的前端实现可以无限地重新发送失败的部分,直到正确通过为止。甚至不必按顺序上传零件,它们可以并行上传,并且如果您一次上传同一零件,则较新的零件将替换较旧的零件,并且对于每个块,S3返回您比较的校验和到您当地计算的值。在完成上传之前,该对象在S3中不可见。当您完成上载时,如果S3尚未包含所有部分(应有的部分,因为它们在上载时已被确认),则完成调用将失败。

不过,您要记住的一件事是分段上传显然永远不会超时,并且如果客户端实用程序“永远不会”完成/完成分段或主动中止分段上传,则您将需要为上传的存储付费不完整上传的块。因此,您想实现一个自动化的后端过程,过程定期调用ListMultipartUploads来识别并中止那些出于任何原因从未完成或取消的上载,然后中止它们。

我不知道这对回答您的总体问题有多大帮助,但是开发自定义前端工具应该不是一件复杂的事情-S3 API非常简单。我可以这么说,因为我开发了一个实用程序来执行此操作(供内部使用-这不是产品插件)。我可能有一天会以开源形式发布它,但是无论如何它可能都不适合您的需求-它本质上是一个命令行实用程序,可由自动化/预定过程使用,以流式传输(“管道”)程序输出作为一系列多部分零件(文件很大,所以我的默认零件大小是64MB)直接进入S3,当生成输出的程序关闭输入流时,它会检测到并完成上传。:)我用它来传输通过压缩程序传递的实时数据库备份,

我认为,您希望为客户带来顺畅的体验,因此高度推荐S3多角色,并且,如果您知道如何在可以生成基于桌面或基于浏览器的UI的任何内容进行编码,则可以读取本地桌面文件系统,并且具有用于HTTP和SHA / HMAC的库,那么您可以编写一个客户端来执行此操作,外观和感觉完全符合您所需的方式。

只要您有一个后端系统可以向您验证客户端实用程序的身份,您就不需要在AWS中为每个客户端手动进行任何设置,也许通过通过SSL连接发送到服务器上应用程序的用户名和密码即可。 Web服务器,然后为客户端实用程序提供自动生成的临时AWS凭证,客户端实用程序可以使用该凭证进行上传。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用PHP s3类无法将视频文件上传到s3

来自分类Dev

Amazon Web Services - Django 中的 S3“不支持您提供的授权机制”

来自分类Dev

从本地计算机将大文件上传到Amazon Web Services的解决方案

来自分类Dev

将克隆的Rails 4 S3应用程序推送到Heroku时,在我的bash配置文件中找不到Amazon Web Services密钥和ID

来自分类Dev

嗨,有没有人有使用swift将视频文件上传到Amazon S3的示例?

来自分类Dev

在您的Web应用程序中,将文件上传到S3时,从客户端直接将它们上传到S3是否安全?

来自分类Dev

在您的Web应用程序中,将文件上传到S3时,从客户端直接将它们上传到S3是否安全?

来自分类Dev

将文件上传到Amazon S3

来自分类Dev

使用NodeJS将文件上传到Amazon S3

来自分类Dev

将文件从iOS上传到Amazon S3

来自分类Dev

将文件从iOS上传到Amazon S3

来自分类Dev

将Blob文件上传到Amazon s3

来自分类Dev

将文件上传到Amazon S3

来自分类Dev

静态网站的Google Analytics(分析)在本地主机上正常运行,而不在Amazon Web Services S3存储桶上正常运行

来自分类Dev

Amazon Web Services-S3-Logstash或Lambda将数据导入Elasticsearch?

来自分类Dev

使用服务器端应用程序生成的签名URL从android将文件(视频文件)上传到S3服务器

来自分类Dev

在Spring MVC Web应用程序中从Amazon S3服务下载上传的文件

来自分类Dev

Amazon Web Service(AWS)S3,如何上传受密码保护的文件夹?

来自分类Dev

使用NodeJS和S3FS / multiparty将文件上传到Amazon S3

来自分类Dev

Amazon Web Services(AWS)架构

来自分类Dev

Amazon Web Services缺少实例

来自分类Dev

离子将视频上传到S3

来自分类Dev

Amazon Web Service S3显示SSL cURL错误

来自分类Dev

Amazon Web Service S3显示SSL cURL错误

来自分类Dev

如何取消上传到Amazon S3的文件?

来自分类Dev

使用Django将图像上传到Amazon S3

来自分类Dev

从Web服务器将文件传输到Amazon S3

来自分类Dev

将本地文件上传到amazon aws s3时如何获取本地文件?

来自分类Dev

将大文件夹上传到Amazon S3

Related 相关文章

  1. 1

    使用PHP s3类无法将视频文件上传到s3

  2. 2

    Amazon Web Services - Django 中的 S3“不支持您提供的授权机制”

  3. 3

    从本地计算机将大文件上传到Amazon Web Services的解决方案

  4. 4

    将克隆的Rails 4 S3应用程序推送到Heroku时,在我的bash配置文件中找不到Amazon Web Services密钥和ID

  5. 5

    嗨,有没有人有使用swift将视频文件上传到Amazon S3的示例?

  6. 6

    在您的Web应用程序中,将文件上传到S3时,从客户端直接将它们上传到S3是否安全?

  7. 7

    在您的Web应用程序中,将文件上传到S3时,从客户端直接将它们上传到S3是否安全?

  8. 8

    将文件上传到Amazon S3

  9. 9

    使用NodeJS将文件上传到Amazon S3

  10. 10

    将文件从iOS上传到Amazon S3

  11. 11

    将文件从iOS上传到Amazon S3

  12. 12

    将Blob文件上传到Amazon s3

  13. 13

    将文件上传到Amazon S3

  14. 14

    静态网站的Google Analytics(分析)在本地主机上正常运行,而不在Amazon Web Services S3存储桶上正常运行

  15. 15

    Amazon Web Services-S3-Logstash或Lambda将数据导入Elasticsearch?

  16. 16

    使用服务器端应用程序生成的签名URL从android将文件(视频文件)上传到S3服务器

  17. 17

    在Spring MVC Web应用程序中从Amazon S3服务下载上传的文件

  18. 18

    Amazon Web Service(AWS)S3,如何上传受密码保护的文件夹?

  19. 19

    使用NodeJS和S3FS / multiparty将文件上传到Amazon S3

  20. 20

    Amazon Web Services(AWS)架构

  21. 21

    Amazon Web Services缺少实例

  22. 22

    离子将视频上传到S3

  23. 23

    Amazon Web Service S3显示SSL cURL错误

  24. 24

    Amazon Web Service S3显示SSL cURL错误

  25. 25

    如何取消上传到Amazon S3的文件?

  26. 26

    使用Django将图像上传到Amazon S3

  27. 27

    从Web服务器将文件传输到Amazon S3

  28. 28

    将本地文件上传到amazon aws s3时如何获取本地文件?

  29. 29

    将大文件夹上传到Amazon S3

热门标签

归档