定期从AWS S3读取并发布到SQS

用户名

我有一个带有不同文件的S3存储桶。我需要读取这些文件并为文件中的每一行发布SQS消息。我无法使用S3事件,因为需要延迟处理文件-一个月后放入SQS。

我可以编写一个调度程序来执行此任务,并进行阅读和发布。但是我可以为此使用AWS吗?AWS Batch或AWS数据管道或Lambda。

我需要传递要读取和发布的数据的日期(文件名)。

编辑:要处理的数据量巨大

阿农·科沃德(Anon Coward)

核心是,您需要做两件事:

枚举S3中存储桶中的所有对象,并对一个多月前上传的任何对象执行一些操作。

您可以使用Lambda或Batch来做到这一点吗?当然。可以将Lambda设置为每天触发一次,枚举文件,然后将结果发布到SQS。

你应该?没有线索。这很大程度上取决于您的规模,以及如果需要很长时间来执行此工作,您打算做什么。如果您的S3存储桶有数百个对象,那将不是问题。如果有数十亿个数据,则您的Lambda将需要能够处理被中断的问题,并继续通过上次运行中的文件进行分页。

或者,您可以使用S3事件触发一个简单的Lambda,该Lambda向数据库添加一行。然后,再次,某些Lambda可以在cron作业上运行,该作业要求数据库提供旧行,然后将其发布为SQS,以供其他人使用。也许这会稍微清洁一点,并且可以处理放大到相当大的存储桶大小。

或者,如果您每天只需要对几十个文件做一些简单的工作,则可以在文件t2.micro上进行文件的分页,决定要做什么以及处理所有旧文件。

这完全取决于您的工作量和需求。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

AWS Elasticbeanstalk自动删除发布到S3的日志

来自分类Dev

转发到 SQS 的 AWS S3 事件最终会成为与 S3 到 SNS 到 SQS 的不同消息吗?

来自分类Dev

如何在AWS S3上读取匿名发布的文件?

来自分类Dev

在发布到AWS S3之前,如何压缩/ gzip我缩小的.js和.css文件?

来自分类Dev

将消息从 AWS SNS 发布到 SQS

来自分类Dev

将S3存储桶通知发布到SQS

来自分类Dev

AWS-SQS并发

来自分类Dev

在Lambda中读取AWS S3 CSV列名称

来自分类Dev

Tensorflow从AWS s3存储桶读取数据

来自分类Dev

从AWS S3存储桶读取的R reactFileFileReader

来自分类Dev

在R中从AWS S3读取gzip文件的内容

来自分类Dev

如何从 Sagemaker 读取 AWS S3 图像进行处理

来自分类Dev

pyspark 从 AWS S3 读取文件不起作用

来自分类Dev

AWS S3 读取流不返回任何数据

来自分类Dev

让脚本在AWS中定期运行

来自分类Dev

AWS s3分段上传是否有最大的并发性?

来自分类Dev

SQS 上的 AWS S3 事件通知有多可靠?

来自分类Dev

AWS CloudFront重定向到S3存储桶

来自分类Dev

如何从Codeship部署到AWS S3?

来自分类Dev

AWS Datapipeline S3到mysql错误

来自分类Dev

AWS mirgate数据从MongoDB到DynamoDB / S3 / Redshift

来自分类Dev

AWS Transcribe S3 .wav文件到文本

来自分类Dev

德鲁伊没有存储到AWS S3

来自分类Dev

EJB定期轮询并发队列

来自分类Dev

定期在Lambda AWS中安排推送通知

来自分类Dev

AWS s3重定向到另一个s3存储桶

来自分类Dev

AWS:读取SQS的多个实例

来自分类Dev

从AWS Lambda读取SQS队列

来自分类Dev

将AWS s3文件读取为Java代码