如何配置钻取以使用所有节点进行查询(通过创建多个片段)

开发人员

在两个节点上使用Drill(1.3)。说:

  1. 192.xxx.xxx.xxx
  2. 192.yyy.yyy.yyy

我尝试查询(来自192.xxx.xxx.xxx)的csv文件(1000万条记录):

select count(*) from dfs.`home/impadmin/BiggerBoy.csv`

此外,我试图连接查询(从192.xxx.xxx.xxx上)HiveOracle

select * from hive.testDB.`catalog_sales` x inner join oracle.ILABUSER.`customer_address` y on y.CA_ADDRESS_SK = x.CS_BILL_ADDR_SK group by  y.CA_CITY limit 100

每次我得到(从Drill UI):

Query Profile
STATE: COMPLETED

FOREMAN: 192.xxx.xxx.xxx

TOTAL FRAGMENTS: 1

为什么不使用其他节点。那么在这种情况下使用多个节点的好处是什么。

是Drill自己照顾还是我需要配置一些东西?

如果有人能够获得多个片段,请共享您的用例。

pa

假设您使用的是分布式文件系统,我从这篇文章中了解到本地文件系统插件(dfs)不能与多个钻头一起使用。尽管所引用的帖子主要解决有关写入的问题,但这听起来适用于您有关读取的问题。

要将Drill配置为使用多个节点,请参阅“在分布式模式安装Drill”下的小节

查询分布取决于查询复杂度。当计划者构建查询计划时,它将计划划分为多个主要片段,并且通常在它们之间有一定的分布。在单个节点中,您可以在同一节点上运行多个次要片段,例如,在一台32列计算机上,您最多可以运行23个次要片段,大约占75%。在多个节点上,例如在4个节点上,每个节点可能针对同一查询运行23个次要片段。

如果您的单个根片段在工头节点上运行,则Drill无法拆分该片段。叶片段的分布取决于查询,并受可拆分输入的数量限制。如果您有一个不可拆分的文件,则查询计划将使用一个叶子。如果计划中有中间片段,则可以将其分发。我无法获得有关如何将单个叶子和中间片段的分布限制为一个节点的详细信息。

在查询配置文件中,当您单击根片段时,您只会看到单个次要片段,并且每个片段的主机名都与工头名称相同。如果单击查询配置文件中的多个主要片段之一,则会看到查询已分配到的不同主机名。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在where子句中钻取多个具有多个/所属的关联?

来自分类Dev

我可以使用通过Cypher手动创建的索引和查询节点吗?

来自分类Dev

如何进行ajax调用,如果我有多个具有不同类的按钮,则可以使用php查询

来自分类Dev

在Tableau中创建具有多个一对多关系的向下钻取和向上钻取

来自分类Dev

在R Shiny中使用Plotly进行多级钻取

来自分类Dev

如何创建单独的sbt配置或任务以使用WartRemover进行编译?

来自分类Dev

对缺乏特定属性的所有节点进行密码查询

来自分类Dev

如何创建 SQL 查询以使用 1 个属性对 JSON 数组进行排序?

来自分类Dev

如何为所有范围使用片段?

来自分类Dev

如何进行更新查询以使信息通过(MYSQL)?

来自分类Dev

在SqlAlchemy中,如何默认配置所有Relationship()以使用加载策略?

来自分类Dev

在SqlAlchemy中,如何默认配置所有Relationship()以使用加载策略?

来自分类Dev

是否可以使用NHibernate查询具有一个或多个可能子对象的所有对象?

来自分类Dev

如何编写Nginx重写以使用特定查询var路由所有url

来自分类Dev

如何编写Nginx重写以使用特定查询var路由所有url

来自分类Dev

如何使用lxml和XPATH在单个查询中检索所有子节点

来自分类Dev

如何在mongo中查询数组元素,以使所有嵌套项都通过给定条件?

来自分类Dev

通过查询对所有子级进行连接

来自分类Dev

我可以使用fs.readdir从/ routes /加载所有路由,并通过app.use(...)进行安装吗?

来自分类Dev

如何使用Firebase通过查询进行订购

来自分类Dev

如何使用 Stripe 通过状态传递多个参数(或信息片段)

来自分类Dev

如何配置Windows上运行的node.js以使用具有多个域名的多个SSL证书?

来自分类Dev

Cypher 查询以遍历特定类型的所有节点并对相关节点进行分组

来自分类Dev

如何设置全局节点模块,以便所有应用程序都可以使用相同的模块

来自分类Dev

如何配置消息属性以使用注释弹簧进行验证

来自分类Dev

如何配置uwsgi以使用多个python路径

来自分类Dev

Neo4j +螺栓+ c#; 如何通过将地图作为参数通过一个查询创建多个节点

来自分类Dev

如何在SQL钻取查询的表中退出检查列

来自分类Dev

XmlDocument - 如何从多个节点获取所有值

Related 相关文章

  1. 1

    如何在where子句中钻取多个具有多个/所属的关联?

  2. 2

    我可以使用通过Cypher手动创建的索引和查询节点吗?

  3. 3

    如何进行ajax调用,如果我有多个具有不同类的按钮,则可以使用php查询

  4. 4

    在Tableau中创建具有多个一对多关系的向下钻取和向上钻取

  5. 5

    在R Shiny中使用Plotly进行多级钻取

  6. 6

    如何创建单独的sbt配置或任务以使用WartRemover进行编译?

  7. 7

    对缺乏特定属性的所有节点进行密码查询

  8. 8

    如何创建 SQL 查询以使用 1 个属性对 JSON 数组进行排序?

  9. 9

    如何为所有范围使用片段?

  10. 10

    如何进行更新查询以使信息通过(MYSQL)?

  11. 11

    在SqlAlchemy中,如何默认配置所有Relationship()以使用加载策略?

  12. 12

    在SqlAlchemy中,如何默认配置所有Relationship()以使用加载策略?

  13. 13

    是否可以使用NHibernate查询具有一个或多个可能子对象的所有对象?

  14. 14

    如何编写Nginx重写以使用特定查询var路由所有url

  15. 15

    如何编写Nginx重写以使用特定查询var路由所有url

  16. 16

    如何使用lxml和XPATH在单个查询中检索所有子节点

  17. 17

    如何在mongo中查询数组元素,以使所有嵌套项都通过给定条件?

  18. 18

    通过查询对所有子级进行连接

  19. 19

    我可以使用fs.readdir从/ routes /加载所有路由,并通过app.use(...)进行安装吗?

  20. 20

    如何使用Firebase通过查询进行订购

  21. 21

    如何使用 Stripe 通过状态传递多个参数(或信息片段)

  22. 22

    如何配置Windows上运行的node.js以使用具有多个域名的多个SSL证书?

  23. 23

    Cypher 查询以遍历特定类型的所有节点并对相关节点进行分组

  24. 24

    如何设置全局节点模块,以便所有应用程序都可以使用相同的模块

  25. 25

    如何配置消息属性以使用注释弹簧进行验证

  26. 26

    如何配置uwsgi以使用多个python路径

  27. 27

    Neo4j +螺栓+ c#; 如何通过将地图作为参数通过一个查询创建多个节点

  28. 28

    如何在SQL钻取查询的表中退出检查列

  29. 29

    XmlDocument - 如何从多个节点获取所有值

热门标签

归档