我正在使用CloudTrail日志针对我的s3存储桶运行简单查询。存储桶很大，大约1分45秒后，我收到了错误消息
HIVE_CURSOR_ERROR：请降低您的请求率。
有没有一种方法可以限制我在Athena中对s3存储桶的请求速率？
SELECT *
FROM default.cloudtrail_logs_cloudtraillog
WHERE eventname = 'DeleteUser' AND awsregion = 'us-east-1'
因此，我将总结AWS建议的解决方案。它们都不是很好，我想知道为什么AWS不会限制它们，而是抛出错误。
默认情况下，S3将自动缩放以支持很高的请求率。当您的请求速率增加时，S3会根据需要自动对S3存储桶进行分区以支持更高的请求速率，但是有时仍然会出错。因此，他们建议等待（不建议时间范围）以给S3足够的时间根据接收到的请求速率对存储桶进行自动分区。
他们还建议：
1）使用S3distcp实用程序将小文件组合成较大的对象。https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html
2）分区https://docs.aws.amazon.com/athena/latest/ug/partitions.html
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句