Hive 中的时间戳分区

用户2531569

我正在尝试在 hive 中创建基于时间戳的分区。但是 hive 正在创建基于数据的分区。下面是我的代码。有人可以帮忙吗?

cat test1.sh
    dat=`date +'%Y%m%d %H:%m:%S'`
    hive -f load.hql -hiveconf file_load_timestamp=$dat;

cat load.hql
INSERT OVERWRITE table perm.test partition(file_load_timestamp='${hiveconf:dat}')
SELECT a,b FROM work.temp;

dt=20180102/ = HDFS 路径是这样创建的。

dt=20180102 103455/ = 期望像这样创建 HDFS 路径。

当我尝试使用%Y%m%d_%H:%m:%S' 格式时,它按预期工作。但我需要日期和时间戳之间的空间。

阿米特·库马尔

要在 HDFS 中创建文件夹名称,space需要将空间转义为\

hadoop fs -mkdir test\ 123

在 hdfs 中创建一个名为 的文件夹test 123

类似地,hive 在使用分区值创建的文件夹中维护分区。这就是为什么提供日期格式%Y%m%d\ %H%m%S将有助于创建带有空格的文件夹。下面是经过测试和工作的:

INSERT OVERWRITE table person_details1 partition(datelocal='20180102\ 200128') select * from person_details;

datelocalString

编辑:执行代码,下面是工作之一:

hduser@Amit:~$ cat test1.sh 
#!/bin/sh

dat=`date +'%Y%m%d\ %H%m%S'`
hive -f load.hql -hiveconf datelocal="$dat";
hduser@Amit:~$ cat load.hql 
INSERT OVERWRITE table amit.person_details1 partition(datelocal='${hiveconf:datelocal}') select * from amit.person_details;

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

计算分区HIVE中行的时间戳差异

来自分类Dev

sqoop 将时间戳添加到 hive 分区值

来自分类Dev

Hive:时间戳间隔

来自分类Dev

在Hive中转换时间戳

来自分类Dev

在Hive中删除分区

来自分类Dev

Hive中的分区交换

来自分类Dev

了解Hive中的分区

来自分类Dev

通过确切的插入时间戳在Hive中进行动态分区

来自分类Dev

如何在Hive中添加时间戳列

来自分类Dev

如何在Hive表中插入时间戳?

来自分类Dev

date_add用于Hive中的时间戳

来自分类Dev

如何在Hive中启用时间戳

来自分类Dev

如何在Hive中添加时间戳列

来自分类Dev

如何在Hive表中插入时间戳?

来自分类Dev

在 hive 中需要“MMM-yyyy”格式的时间戳

来自分类Dev

从Hive视图加载Hive分区

来自分类Dev

HIVE转换unix时间戳进行计算

来自分类Dev

Hive:如何转换毫秒时间戳?

来自分类Dev

Hive,分区与未分区数据库所花费的时间

来自分类Dev

将带有当前时间戳的列添加到 Hive 中的表中

来自分类Dev

Hive中以毫秒为单位的纪元到以毫秒为单位的时间戳转换

来自分类Dev

时间戳是否与 Apache Hive 中的时区一起存储?

来自分类Dev

如何在 Hive 中查找两个时间戳日期之间的年数?

来自分类Dev

Hive静态分区问题

来自分类Dev

基于Hive日期的分区

来自分类Dev

Hive:动态分区

来自分类Dev

Hive - 忽略丢失的分区

来自分类Dev

Hive Data根据时间戳选择最新值

来自分类Dev

Impala时间戳与Hive不匹配-时区问题?