如何从 HDFS 按名称获取最大目录?

投降王

以下是我的 HDFS 目录结构,按照 hadoop 2.6.0

/user/cloudera/output_files/file_date_2016-12-27/outputfile.txt
/user/cloudera/output_files/file_date_2016-12-28/outputfile.txt
/user/cloudera/output_files/file_date_2016-12-29/outputfile.txt
..

我想从父 HDFS 目录中通过其名称获取最大输出目录

OUTPUT_HDFS_DIR=/user/cloudera/output_files
latest_output_dir= hdfs dfs -ls -d $OUTPUT_HDFS_DIR/* | sort -n | tail -1

echo $latest_output_dir// This line is printing

latest_date_dir=$(basename "$latest_output_dir")
echo $latest_date_dir//This line is not printin. Getting a empty space.

以上 shell 脚本的输出

[cloudera@client09 scripts]$ bash latest_dir.sh
drwxrwx---   - cloudera cloudera          0 2017-04-19 13:35 /user/cloudera/output_files/file_date_2016-12-29

我期待$ latest_date_dir可以打印,file_date_2016-12-29,但它没有显示这一点。

有人可以帮我解决这个问题吗?

安布里什

更改以下行:

latest_output_dir= hdfs dfs -ls -d $OUTPUT_HDFS_DIR/* | sort -n | tail -1

至:

latest_output_dir=`hdfs dfs -ls -d $OUTPUT_HDFS_DIR/* | sort -n | tail -1`

说明:您的命令将被执行,但不会将输出分配给变量。我建议的更改将完成缺失的部分(将其分配给变量)。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何从HDFS获取数据?蜂巢?

来自分类Dev

如何使用webhdfs列出HDFS目录内容?

来自分类Dev

如何在Hadoop HDFS目录中移动文件?

来自分类Dev

如何在我的系统上找到Hadoop hdfs目录?

来自分类Dev

如何使用用户hdfs从根目录运行CLI

来自分类Dev

如何防止 Hadoop 的 HDFS API 创建父目录?

来自分类Dev

如何使用Scala获取HDFS文件系统中目录的磁盘使用率或文件大小

来自分类Dev

从HDFS检索数据时如何获取文件元数据?

来自分类Dev

Hadoop-如何获取HDFS文件的Path对象

来自分类Dev

如何从HDFS删除文件?

来自分类Dev

Spark迭代HDFS目录

来自分类Dev

锁定HDFS中的目录

来自分类Dev

Java:HDFS复制目录

来自分类Dev

遍历hdfs目录

来自分类Dev

锁定HDFS中的目录

来自分类Dev

作为目录的 HDFS“文件”

来自分类Dev

如何将HDFS文件输入到R mapreduce中进行处理并将结果获取到HDFS文件中

来自分类Dev

如何按名称获取类别?

来自分类Dev

获取几行HDFS数据

来自分类Dev

如何使用查找按名称排除目录?

来自分类Dev

如何使用查找按名称排除目录?

来自分类Dev

如何修复损坏的HDFS文件

来自分类Dev

HDFS如何管理块大小?

来自分类Dev

HDFS如何修改数据

来自分类Dev

如何从HDFS检索Avro数据?

来自分类Dev

hdfs mv命令如何工作

来自分类Dev

HDFS如何修改数据

来自分类Dev

如何配置 HDFS 侦听 0.0.0.0

来自分类Dev

如何从Hive Beeline中查找默认的HDFS目录及其内容?