我们有一个针对不同来源运行的查询,每天多次。每次运行超过 40 分钟,我们正在尝试查看是否可以减少查询执行时间
查询所做的只是尝试向现有表添加新行(通过比较键)
SELECT A.*
FROM
(
SELECT *
FROM A
)
A
LEFT OUTER JOIN
(
SELECT f1, f11
FROM B
WHERE f13 IN ( SELECT f13 FROM C)
)
B
ON A.f1 = B.f1
AND nvl(A.f11,'NULL') = nvl(B.f11,'NULL')
WHERE isnull(B.f1)
AND isnotnull(A.f1)
我想做什么
SELECT A.* .
FROM (
SELECT *
FROM A
)
A
WHERE NOT EXISTS
(
SELECT 1
FROM B WHERE f13 IN ( SELECT f13 FROM C)
and A.f1 = B.f1 and A.f11 = B.f11
)
这项工作不仅会产生类似的结果,还会有助于减少执行时间。查询的小改进将大有帮助,因为该查询每天运行 8 次。
任何建议都会有所帮助。
在 HiveNOT EXISTS
中将生成与left join + isnull filter
.
您可以使用 UNION +row_number()
进行增量更新,如这个答案https://stackoverflow.com/a/44755825/2700344,没有加入,它可能工作得更快
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句