使用 HTTP 的 Amazon S3 存储桶列表

大卫

这个问题似乎以前被问过,但我以不同的方式做它,所以我发布这个是因为我找不到解决这个问题的具体问题。有没有办法在不使用特殊工具或 Amazon CLI 等的情况下获取公共 Amazon 存储桶中的文件列表(实际上只是最新文件)?我对此没有任何经验,3 小时后我准备把头发拉出来。我有一个简单的项目,我需要存储桶中的最新文件,但我不知道文件名。(天气雷达数据)。这是唯一要求 - 我确实有少量的编程知识,但似乎我无法弄清楚 python/Amazon 工具,所以我只是想找到一条更简单的路线,因为我很快就没有时间了。我正在使用 Windows 和命令行工具。在类似的主机上,我通过使用 wget 从服务器提取数据并使用我编写的简单 C++ 控制台应用程序解析 index.html 文件以获取文件名,然后启动 wget 下载文件,因为文件名很容易在指数。

对于亚马逊,我似乎无法弄清楚这一点。

这是主要列表:https : //s3.amazonaws.com/noaa-nexrad-level2/index.html

由于文件名按日期列出,因此雷达站点 - 我可以找出大部分 URL。示例文件名将是:

https://noaa-nexrad-level2.s3.amazonaws.com/2018/08/07/KEWX/KEWX20180807_094339_V06

对于更精确的示例 - 我需要https://noaa-nexrad-level2.s3.amazonaws.com/2018/08/07/KEWX的最新文件

如果我可以得到一个目录的 XML 返回,我可以使用我以前做过的方法来做到这一点……但我似乎无法弄清楚。

我可以编写一个简单的程序来执行此操作,即使我必须学习一些 Python(这似乎是最流行的方法),但我不明白我在 AWS 身份验证、存储桶等方面所做的工作。并且已经浪费了太多时间重新开始,除非我得到一些认真的帮助。我希望能找到一些帮助。我不是想偷懒,我只是时间和想法用完了。

约翰·罗滕斯坦

您将需要在 PowerShell 或AWS 命令​​行界面 (CLI)中对结果进行某种形式的编程处理

这似乎有效:

aws s3api list-objects --bucket noaa-nexrad-level2 --prefix 2018/08/07/KEWX/ --query 'sort_by(Contents, &LastModified)[-1].Key' --output text

2018/08/07/KEWX/KEWX20180807_234734_V06

基本上是说:按LastModified排序,返回最后一条记录,只显示Key(文件名)

(这在 Mac 上有效。您可能需要在 Windows 上摆弄引号。)

一些关于 AWS CLI 的好视频:

JMESPath教程也是理解如何使用是非常有用的--query参数。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Amazon S3存储桶命名约定

来自分类Dev

Amazon S3安全存储桶

来自分类Dev

使用php列出Amazon S3存储桶中的所有文件的快速方法?

来自分类Dev

Amazon S3:使用生命周期删除空存储桶

来自分类Dev

Amazon S3存储桶返回403禁止访问

来自分类Dev

存储桶级别的Amazon S3安全URL

来自分类Dev

通过Perl的Amazon S3存储桶列表引发XML错误

来自分类Dev

从Amazon S3存储桶检索图像

来自分类Dev

您如何全文搜索amazon s3存储桶?

来自分类Dev

Amazon S3存储桶的Favicon

来自分类Dev

无法使用Gaufrette和Symfony2检查Amazon s3存储桶是否存在

来自分类Dev

如何使用通配符搜索Amazon S3存储桶?

来自分类Dev

Amazon S3:如何获取存储桶中的文件夹列表?

来自分类Dev

使用API在Amazon S3存储桶中创建文件夹/上传文件

来自分类Dev

使用AWSSDK.S3使用C#对Amazon S3存储桶进行身份验证

来自分类Dev

Android Amazon S3存储桶

来自分类Dev

如何使用Terraform在Amazon S3存储桶中创建文件夹

来自分类Dev

使用策略限制Amazon S3存储桶上的文件类型

来自分类Dev

我想通过使用C#代码了解Amazon S3存储桶的大小。如何使用C#代码获取s3存储桶的大小?

来自分类Dev

子域指向Amazon S3存储桶

来自分类Dev

Amazon S3存储桶缓存清除

来自分类Dev

如何使用postdata preSigned Url调用Amazon S3存储桶以使用Karate上传文件

来自分类Dev

通过Perl的Amazon S3存储桶列表引发XML错误

来自分类Dev

使用boto将csv文件上传到Amazon S3存储桶

来自分类Dev

Android Amazon S3存储桶

来自分类Dev

Amazon S3存储桶策略,允许用户写入存储桶,但仅限该存储桶

来自分类Dev

使用 .net SDK 从 Amazon S3 存储桶下载文件夹

来自分类Dev

使用 R 将存储在 Amazon S3 存储桶中的数据导入 SQL Server 的最有效方法

来自分类Dev

使用 PHP 将文件上传到 Amazon S3 存储桶 - 不使用 SDK

Related 相关文章

  1. 1

    Amazon S3存储桶命名约定

  2. 2

    Amazon S3安全存储桶

  3. 3

    使用php列出Amazon S3存储桶中的所有文件的快速方法?

  4. 4

    Amazon S3:使用生命周期删除空存储桶

  5. 5

    Amazon S3存储桶返回403禁止访问

  6. 6

    存储桶级别的Amazon S3安全URL

  7. 7

    通过Perl的Amazon S3存储桶列表引发XML错误

  8. 8

    从Amazon S3存储桶检索图像

  9. 9

    您如何全文搜索amazon s3存储桶?

  10. 10

    Amazon S3存储桶的Favicon

  11. 11

    无法使用Gaufrette和Symfony2检查Amazon s3存储桶是否存在

  12. 12

    如何使用通配符搜索Amazon S3存储桶?

  13. 13

    Amazon S3:如何获取存储桶中的文件夹列表?

  14. 14

    使用API在Amazon S3存储桶中创建文件夹/上传文件

  15. 15

    使用AWSSDK.S3使用C#对Amazon S3存储桶进行身份验证

  16. 16

    Android Amazon S3存储桶

  17. 17

    如何使用Terraform在Amazon S3存储桶中创建文件夹

  18. 18

    使用策略限制Amazon S3存储桶上的文件类型

  19. 19

    我想通过使用C#代码了解Amazon S3存储桶的大小。如何使用C#代码获取s3存储桶的大小?

  20. 20

    子域指向Amazon S3存储桶

  21. 21

    Amazon S3存储桶缓存清除

  22. 22

    如何使用postdata preSigned Url调用Amazon S3存储桶以使用Karate上传文件

  23. 23

    通过Perl的Amazon S3存储桶列表引发XML错误

  24. 24

    使用boto将csv文件上传到Amazon S3存储桶

  25. 25

    Android Amazon S3存储桶

  26. 26

    Amazon S3存储桶策略,允许用户写入存储桶,但仅限该存储桶

  27. 27

    使用 .net SDK 从 Amazon S3 存储桶下载文件夹

  28. 28

    使用 R 将存储在 Amazon S3 存储桶中的数据导入 SQL Server 的最有效方法

  29. 29

    使用 PHP 将文件上传到 Amazon S3 存储桶 - 不使用 SDK

热门标签

归档