例如，我要传递给Spark SQL的Hive HQL语句很少：
set parquet.compression=SNAPPY;
create table MY_TABLE stored as parquet as select * from ANOTHER_TABLE;
select * from MY_TABLE limit 5;
以下操作无效：
hiveContext.sql("set parquet.compression=SNAPPY; create table MY_TABLE stored as parquet as select * from ANOTHER_TABLE; select * from MY_TABLE limit 5;")
如何将语句传递到Spark SQL？
谢谢@SamsonScharfrichter的回答。
这将起作用：
hiveContext.sql("set spark.sql.parquet.compression.codec=SNAPPY")
hiveContext.sql("create table MY_TABLE stored as parquet as select * from ANOTHER_TABLE")
val rs = hiveContext.sql("select * from MY_TABLE limit 5")
请注意，在这种特殊情况下，我们需要使用spark.sql.parquet.compression.codec代替parquet.compression键
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句