在bigquery中使用标准sql查询缓冲区/未分区数据

淑淑

(我猜测如果我的问题没有简单的解决方案,如果_PARTITIONTIME字段在Standard SQL不可用,则基于如何查询BigQuery中的流缓冲区),我将“增强”它)


我使用时间戳字段(而不是提取时间分区)将数据流式传输到Bigquery的分区和群集表中。
我想拥有一个始终查看最后一小时数据,表中已有数据以及缓冲区中仍存在数据的视图。
由于此表不是摄取时间分区表,因此没有伪列_PARTITIONTIME / DATE,因此我不能使用它来获取缓冲区数据。
我发现的唯一方法是使用旧版SQL: SELECT * FROM [dataset.streaming_data$__UNPARTITIONED__]
这对我来说还不够好,因为即使将其保存为视图,也无法从标准SQL查询中引用旧版SQL视图。
知道我该如何实现吗?


我正在考虑的另一个想法-bigquery可以有一个外部数据源(使用EXTERNAL_QUERY),我可以使用标准SQL进行查询。
一个解决方案可能是在单独数据库(例如PostgreSQL Cloud SQL)上的一些“临时”表,该表仅具有1个小时的数据,并且不具有bigquery的缓冲机制。
我认为这是一个不好的解决方案,但我想它可能会起作用...
您如何看待?

淑淑

多亏@Felipe Hoffae,我才发现我什么都不做:-)如果WHERE子句中包含缓冲数据,则任何SQL查询中都可以使用缓冲数据。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

在Android AudioTrack中使用缓冲区

来自分类Dev

在Android AudioTrack中使用缓冲区

来自分类Dev

使用Java协议缓冲区的批量Google数据存储区查询

来自分类Dev

谷歌大查询 - 从缓冲区刷新数据(缓冲区上的 4 天数据)

来自分类Dev

标准输入流 (pubsetbuf) 使用的内部缓冲区

来自分类Dev

BigQuery:使用标准 sql 查询

来自分类Dev

在 Flex 中使用多个缓冲区时,如何避免令牌在缓冲区之间拆分

来自分类Dev

如何在node.js中使用.proto文件解码编码的协议缓冲区数据

来自分类Dev

增加Python的标准缓冲区大小

来自分类Dev

Python:清除标准输入缓冲区

来自分类Dev

为什么MySQL查询使用连接缓冲区?

来自分类Dev

检查上次查询中是否使用了缓冲区

来自分类Dev

在pyspark中使用缓冲区收集RDD

来自分类Dev

是否可以在C中使用较大的char缓冲区

来自分类Dev

如何在小型缓冲区中使用Mx?

来自分类Dev

如何在takeWhile中使用rxjs缓冲区

来自分类Dev

在C ++中使用缓冲区时的废纸characters字符

来自分类Dev

在Matcher类的appendReplaccement()方法中使用缓冲区对象

来自分类Dev

XNA 4.0.4在rendertarget中使用Z缓冲区

来自分类Dev

为什么在Java中使用协议缓冲区

来自分类Dev

在Bash中使用多个复制缓冲区

来自分类Dev

如何在 Angularjs 中使用 Nodejs 的缓冲区?

来自分类Dev

嵌套SQL语句的数据库缓冲区

来自分类Dev

BigQuery writeTableRows 始终写入缓冲区

来自分类Dev

流式缓冲区 - Google BigQuery

来自分类Dev

使用Google Proto缓冲区发送/接收数据

来自分类Dev

何时使用数组,缓冲区或直接缓冲区

来自分类Dev

在OpenGL ES中使用深度和模具渲染缓冲区附件作为帧缓冲区

来自分类Dev

如何在函数中使用 HTMLIZE 并将本地缓冲区更改为 HTMLIZE 输出缓冲区?

Related 相关文章

  1. 1

    在Android AudioTrack中使用缓冲区

  2. 2

    在Android AudioTrack中使用缓冲区

  3. 3

    使用Java协议缓冲区的批量Google数据存储区查询

  4. 4

    谷歌大查询 - 从缓冲区刷新数据(缓冲区上的 4 天数据)

  5. 5

    标准输入流 (pubsetbuf) 使用的内部缓冲区

  6. 6

    BigQuery:使用标准 sql 查询

  7. 7

    在 Flex 中使用多个缓冲区时,如何避免令牌在缓冲区之间拆分

  8. 8

    如何在node.js中使用.proto文件解码编码的协议缓冲区数据

  9. 9

    增加Python的标准缓冲区大小

  10. 10

    Python:清除标准输入缓冲区

  11. 11

    为什么MySQL查询使用连接缓冲区?

  12. 12

    检查上次查询中是否使用了缓冲区

  13. 13

    在pyspark中使用缓冲区收集RDD

  14. 14

    是否可以在C中使用较大的char缓冲区

  15. 15

    如何在小型缓冲区中使用Mx?

  16. 16

    如何在takeWhile中使用rxjs缓冲区

  17. 17

    在C ++中使用缓冲区时的废纸characters字符

  18. 18

    在Matcher类的appendReplaccement()方法中使用缓冲区对象

  19. 19

    XNA 4.0.4在rendertarget中使用Z缓冲区

  20. 20

    为什么在Java中使用协议缓冲区

  21. 21

    在Bash中使用多个复制缓冲区

  22. 22

    如何在 Angularjs 中使用 Nodejs 的缓冲区?

  23. 23

    嵌套SQL语句的数据库缓冲区

  24. 24

    BigQuery writeTableRows 始终写入缓冲区

  25. 25

    流式缓冲区 - Google BigQuery

  26. 26

    使用Google Proto缓冲区发送/接收数据

  27. 27

    何时使用数组,缓冲区或直接缓冲区

  28. 28

    在OpenGL ES中使用深度和模具渲染缓冲区附件作为帧缓冲区

  29. 29

    如何在函数中使用 HTMLIZE 并将本地缓冲区更改为 HTMLIZE 输出缓冲区?

热门标签

归档