Hive外部表无法读取已分区的hdfs目录

用户名

我有一个map reduce作业,已经使用hive分区命名约定将记录写到hdfs中。

例如

/user/test/generated/code=1/channel=A
/user/test/generated/code=1/channel=B

创建外部表后,它看不到分区。

 create external table test_1 ( id string, name string ) partitioned by
 (code string, channel string) STORED AS PARQUET LOCATION
 '/user/test/generated'

即使使用alter命令

更改表test_1 ADD PARTITION(代码='1',通道='A')

,它看不到分区或记录,因为

从test_1选择*限制1产生0个结果。

如果在创建外部表时使用空位置,然后使用加载数据inpath ...则可以正常工作。但是问题在于,存在太多分区,无法使装入数据入路径工作。

有没有办法让配置单元自动识别分区(无需执行插入查询)?

用户名

使用msck,它似乎正在工作。但是我必须退出配置单元会话,然后重新连接。

MSCK REPAIR TABLE test_1

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

无法在HIVE中创建表以从HDFS读取CSV

来自分类Dev

无法联系hive表分区,删除与分区相关的hdfs文件后

来自分类Dev

从hdfs中删除文件是否会删除相应的hive外部表分区?

来自分类Dev

创建HIVE分区表HDFS位置帮助

来自分类Dev

在Pig中读取非字符串分区的Hive表

来自分类Dev

Hive-根据文件路径设置外部表的分区

来自分类Dev

Hive中的外部表可以智能识别分区吗?

来自分类Dev

hive 从动态位置加载外部表(分区)

来自分类Dev

无法在Hive分区表中加载数据

来自分类Dev

创建Hive外部表,路径中没有分区列名称的分区?

来自分类Dev

Hive:无法将数据从未分区表复制到分区表

来自分类Dev

为什么partx无法读取某些磁盘的分区表

来自分类Dev

如何在动态hdfs目录上创建分区配置单元表

来自分类Dev

无法从HDFS读取文件

来自分类Dev

从HDFS读取文件与本地目录

来自分类Dev

插入Hive表-非分区表到分区表-由于列号/类型无法插入目标表

来自分类Dev

插入Hive表-未分区表到分区表-由于列号/类型无法插入目标表

来自分类Dev

将数据从 Hive 写入 Amazon S3,同时维护表分区目录结构

来自分类Dev

无法在Hive外部表中查询日期字段

来自分类Dev

无法在Hive中创建外部表以指向hbase

来自分类Dev

无法在GCS环境中从平面文件加载Hive外部表

来自分类Dev

无法在Hive外部表中查询日期字段

来自分类Dev

Hive从原始外部表插入到动态分区外部表的覆盖失败,出现空指针异常。

来自分类Dev

在 pyspark 数据帧中读取 Hive 分区 ORC 表时,逻辑和物理计划如何工作

来自分类Dev

通过数据块向Hive外部表添加新分区

来自分类Dev

没有动态分区,无法向配置单元外部表添加/更新空分区

来自分类Dev

Hive无法读取Spark生成的分区实木复合地板文件

来自分类Dev

Hive外部表:如果在更新基础目录期间访问该表怎么办

来自分类Dev

分区已识别,无法卷

Related 相关文章

  1. 1

    无法在HIVE中创建表以从HDFS读取CSV

  2. 2

    无法联系hive表分区,删除与分区相关的hdfs文件后

  3. 3

    从hdfs中删除文件是否会删除相应的hive外部表分区?

  4. 4

    创建HIVE分区表HDFS位置帮助

  5. 5

    在Pig中读取非字符串分区的Hive表

  6. 6

    Hive-根据文件路径设置外部表的分区

  7. 7

    Hive中的外部表可以智能识别分区吗?

  8. 8

    hive 从动态位置加载外部表(分区)

  9. 9

    无法在Hive分区表中加载数据

  10. 10

    创建Hive外部表,路径中没有分区列名称的分区?

  11. 11

    Hive:无法将数据从未分区表复制到分区表

  12. 12

    为什么partx无法读取某些磁盘的分区表

  13. 13

    如何在动态hdfs目录上创建分区配置单元表

  14. 14

    无法从HDFS读取文件

  15. 15

    从HDFS读取文件与本地目录

  16. 16

    插入Hive表-非分区表到分区表-由于列号/类型无法插入目标表

  17. 17

    插入Hive表-未分区表到分区表-由于列号/类型无法插入目标表

  18. 18

    将数据从 Hive 写入 Amazon S3,同时维护表分区目录结构

  19. 19

    无法在Hive外部表中查询日期字段

  20. 20

    无法在Hive中创建外部表以指向hbase

  21. 21

    无法在GCS环境中从平面文件加载Hive外部表

  22. 22

    无法在Hive外部表中查询日期字段

  23. 23

    Hive从原始外部表插入到动态分区外部表的覆盖失败,出现空指针异常。

  24. 24

    在 pyspark 数据帧中读取 Hive 分区 ORC 表时,逻辑和物理计划如何工作

  25. 25

    通过数据块向Hive外部表添加新分区

  26. 26

    没有动态分区,无法向配置单元外部表添加/更新空分区

  27. 27

    Hive无法读取Spark生成的分区实木复合地板文件

  28. 28

    Hive外部表:如果在更新基础目录期间访问该表怎么办

  29. 29

    分区已识别,无法卷

热门标签

归档