我想将配置单元查询结果导出到带有管道定界符的单个本地文件。
配置单元查询包含order by子句。
我已经尝试了以下解决方案。
解决方案1：
hive -e 'insert overwrite local directory '/problem1/solution' fields terminated by '|' select * from table_name order by rec_date'
此解决方案正在创建多个文件。合并文件后，它将失去数据顺序。
解决方案2：
beeline -u 'jdbc:hive2://server_ip:10000/db_name' --silent --outputformat=dsv --delimiterForDSV='|' -e 'select * from table_name order by rec_date' > /problem1/solution
此解决方案正在创建单个文件，但顶部有2行，底部有2行。
我正在使用sed命令删除空行。这需要很长时间。
还有其他有效的方法来实现这一目标吗？
尝试以下设置以在单个化简器上执行ORDER BY：
set hive.optimize.sampling.orderby=false; --disable parallel ORDER BY
或尝试手动设置减速器的数量：
set mapred.reduce.tasks=1;
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句