将多个文件从 hadoop 复制到 s3 存储桶

用户8545255

我在 Hadoop 目录中有几个文件。我正在尝试将文件从 hadoop 目录复制到 s3 存储桶。

文件列表

样本1.txt

样本2.txt

样本3.txt

我想一次复制所有文件

 aws s3 cp *.txt s3://bucket-name/samples/

它显示我错误

usage: aws [options] <command> <subcommand> [<subcommand> ...] [parameters]
和平主义者

你可以这样做:

aws s3 cp . s3://<bucket-name> --recursive --exclude "*" --include "*.txt"
aws s3 cp <Hadoop-Dir-Path> s3://<bucket-name> --recursive --exclude "*" --include "*.txt"

或者您也可以使用同步:

aws s3 sync . s3://<bucket-name> --exclude "*" --include "file.*"

请注意,默认情况下,包含所有文件。这意味着仅提供 --include 过滤器不会更改传输的文件。--include 只会重新包含已从 --exclude 过滤器中排除的文件。如果您只想上传具有特定扩展名的文件,则需要先排除所有文件,然后重新包含具有特定扩展名的文件。此命令将仅上传以 .txt 结尾的文件。

AWS 文档

用于同步的 AWS 文档

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将文件列表从 S3 存储桶复制到 S3 存储桶

来自分类Dev

将文件从 S3 存储桶复制到 Google Cloud Storage

来自分类Dev

将文件从 AWS s3 (SSE) 存储桶复制到谷歌云

来自分类Dev

将 Python 中的大文件复制到 S3 存储桶时出现 OSError

来自分类Dev

将s3存储桶复制到另一个存储桶太慢,如何更快?

来自分类Dev

s3cmd:将文件从s3中的加密存储桶复制到本地计算机

来自分类Dev

将CSV文件从公共Git子目录复制到S3存储桶

来自分类Dev

当我尝试将文件复制到 aws S3 存储桶时,Jenkins 作业失败

来自分类Dev

如何将整个文件夹从 s3 存储桶复制到 ec2 实例

来自分类Dev

将文件从 s3 存储桶复制到另一个 AWS 账户

来自分类Dev

将 AWS S3 存储桶根目录内容复制到子文件夹中的同一个存储桶

来自分类Dev

从s3存储桶复制多个文件

来自分类Dev

将文件从s3://复制到本地(hadoop)文件系统时出现错误

来自分类Dev

将文件从s3://复制到本地(hadoop)文件系统时出现错误

来自分类Dev

AWS CLI在s3存储桶中搜索文件并复制到其他文件夹

来自分类Dev

如何仅使用AWS CodeBuild服务将github代码复制到s3存储桶?

来自分类Dev

如何仅使用AWS CodeBuild服务将github代码复制到s3存储桶?

来自分类Dev

如何将公共S3文件列表复制到私有S3存储桶

来自分类Dev

AWS S3使用AWS Lambda跨多个帐户复制并触发内部Lambda复制到其他存储桶

来自分类Dev

将Amazon s3对象复制到另一个存储桶中的另一个文件夹。

来自分类Dev

Python 中的 AWS Lambda 将新文件复制到另一个 s3 存储桶

来自分类Dev

如何从S3存储桶中复制文件

来自分类Dev

从Internet下载文件到S3存储桶

来自分类Dev

将S3存储桶通知发布到SQS

来自分类Dev

从jenkins将Maven部署到s3存储桶

来自分类Dev

在Python中使用Boto将内容从s3存储桶的一条路径递归复制到另一条路径

来自分类Dev

在Python中使用Boto将内容从s3存储桶的一条路径递归复制到另一条路径

来自分类Dev

从Azure Blob复制到AWS S3存储桶

来自分类Dev

从另一个帐户S3存储桶复制到Redshift

Related 相关文章

  1. 1

    将文件列表从 S3 存储桶复制到 S3 存储桶

  2. 2

    将文件从 S3 存储桶复制到 Google Cloud Storage

  3. 3

    将文件从 AWS s3 (SSE) 存储桶复制到谷歌云

  4. 4

    将 Python 中的大文件复制到 S3 存储桶时出现 OSError

  5. 5

    将s3存储桶复制到另一个存储桶太慢,如何更快?

  6. 6

    s3cmd:将文件从s3中的加密存储桶复制到本地计算机

  7. 7

    将CSV文件从公共Git子目录复制到S3存储桶

  8. 8

    当我尝试将文件复制到 aws S3 存储桶时,Jenkins 作业失败

  9. 9

    如何将整个文件夹从 s3 存储桶复制到 ec2 实例

  10. 10

    将文件从 s3 存储桶复制到另一个 AWS 账户

  11. 11

    将 AWS S3 存储桶根目录内容复制到子文件夹中的同一个存储桶

  12. 12

    从s3存储桶复制多个文件

  13. 13

    将文件从s3://复制到本地(hadoop)文件系统时出现错误

  14. 14

    将文件从s3://复制到本地(hadoop)文件系统时出现错误

  15. 15

    AWS CLI在s3存储桶中搜索文件并复制到其他文件夹

  16. 16

    如何仅使用AWS CodeBuild服务将github代码复制到s3存储桶?

  17. 17

    如何仅使用AWS CodeBuild服务将github代码复制到s3存储桶?

  18. 18

    如何将公共S3文件列表复制到私有S3存储桶

  19. 19

    AWS S3使用AWS Lambda跨多个帐户复制并触发内部Lambda复制到其他存储桶

  20. 20

    将Amazon s3对象复制到另一个存储桶中的另一个文件夹。

  21. 21

    Python 中的 AWS Lambda 将新文件复制到另一个 s3 存储桶

  22. 22

    如何从S3存储桶中复制文件

  23. 23

    从Internet下载文件到S3存储桶

  24. 24

    将S3存储桶通知发布到SQS

  25. 25

    从jenkins将Maven部署到s3存储桶

  26. 26

    在Python中使用Boto将内容从s3存储桶的一条路径递归复制到另一条路径

  27. 27

    在Python中使用Boto将内容从s3存储桶的一条路径递归复制到另一条路径

  28. 28

    从Azure Blob复制到AWS S3存储桶

  29. 29

    从另一个帐户S3存储桶复制到Redshift

热门标签

归档