UDF与自定义表达式

最大限度

就Spark DataFrame / SQL上下文而言,UDF和自定义表达式之间有什么区别?尤其是它们对Catalyst都是不透明的吗?使用一个vs另一个的原因是什么?

(例如,此处提到了自定义表达式-尽管在这种情况下不需要它们。)

9

UDF:

  • 对Scala类型进行操作(您可以访问UDT)
  • 被标记为不确定的
  • 无法在执行计划中移动
  • 不能用于代码生成

表达:

  • 在催化剂类型上运行
  • 可以标记为确定性/非确定性
  • 可以用于代码生成,但不是全部实现
  • 可以在执行计划中移动

两者-都是不透明的,除非有特定表达的催化剂规则支持

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

UDF与自定义表达式

来自分类Dev

改进自定义正则表达式

来自分类Dev

在自定义计算表达式中实现绑定

来自分类Dev

表达式内的NSExpression自定义变量

来自分类Dev

正则表达式以匹配自定义文本

来自分类Dev

自定义正则表达式-输入验证

来自分类Dev

正则表达式以匹配自定义文本

来自分类Dev

自定义正则表达式模式

来自分类Dev

自定义正则表达式

来自分类Dev

自定义日期格式的正则表达式

来自分类Dev

基于类表达式的AngularJS自定义指令

来自分类Dev

自定义正则表达式= $〜#№\; <>%/

来自分类Dev

评估自定义指令中的表达式

来自分类Dev

grok 的自定义正则表达式

来自分类Dev

我的自定义 URL 的正则表达式

来自分类Dev

自定义 GROUP BY 语句的正则表达式

来自分类Dev

自定义 URL 的 Javascript 正则表达式?

来自分类Dev

使用正则表达式验证自定义表达式

来自分类Dev

如何为网址编写自定义正则表达式(自定义网址)

来自分类Dev

如何为网址编写自定义正则表达式(自定义网址)

来自分类Dev

在WPF中定义宽度和高度的自定义表达式

来自分类Dev

我可以为C#正则表达式定义自定义模式吗?

来自分类Dev

如何在 asciidoc 中为 mathjax 表达式定义自定义宏?

来自分类Dev

自定义-用于验证自定义电子邮件地址的Javascript正则表达式

来自分类Dev

自定义正则表达式解析器

来自分类Dev

如何在自定义格式功能中使用Boost.Log格式表达式

来自分类Dev

使用自定义表达式或函数对MongoDB进行排序

来自分类Dev

如何在Spring Security @ PreAuthorize / @ PostAuthorize批注中使用自定义表达式

来自分类Dev

Spring Security:如何启用自定义表达式结果类型支持?

Related 相关文章

热门标签

归档