想要一些有关如何处理Google BigQuery中的表操作（重命名列）的建议。
目前，我有一个包装器来执行此操作。我的表按日期分区。例如：如果我有一个表名的事实，我将有几个表名为：
fact_20160301
fact_20160302
fact_20160303 ...等
我的重命名列包装器会生成别名查询。IE。如果我想从['address'，'name'，'city']-> ['location'，'firstname'，'town']更改我的表模式
我做批量查询操作： select address as location, name as firstname, city as town
并在父表上执行WRITE_TRUNCATE。
我的主要问题在于BigQuery仅支持50个并发作业。这意味着，当我提交批处理请求时，一次只能做大约30个分区，因为我想为正在运行的ETL作业保留20个位置。
另外，我还没有找到一种方法可以对批处理操作执行poll_job来查看批处理中的所有作业是否都已完成。
如果有人有一些提示或技巧，我很想听听他们。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句