我想每天自动执行我的蜂巢脚本，为了做到这一点，我有一个选择是数据管道。但是问题在于我将数据从dynamo-db导出到s3，并使用配置单元脚本来处理这些数据。我在蜂巢脚本中提供此输入和输出，这是问题开始的地方，因为蜂巢活动必须具有输入和输出，但我必须在脚本文件中提供它们。
我正在尝试寻找一种方法来自动执行此配置单元脚本并等待一些想法？
干杯，
您可以禁用对Hive活动的暂存以运行任何任意的Hive脚本。
stage = false
做类似的事情：
{
"name": "DefaultActivity1",
"id": "ActivityId_1",
"type": "HiveActivity",
"stage": "false",
"scriptUri": "s3://baucket/query.hql",
"scriptVariable": [
"param1=value1",
"param2=value2"
],
"schedule": {
"ref": "ScheduleId_l"
},
"runsOn": {
"ref": "EmrClusterId_1"
}
},
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句