根据 hdfs 目录中的文件名计算文件数

莫希尼·辛格

我有一个 HDFS 目录,其中包含超过一千条记录并且包含不同的文件名。我必须根据文件名计算文件。由于我有数千个文件,因此我无法为计数提供特定的文件名。

例如目录包含以下文件

/a/b/a.txt

/a/b/b.txt

/a/b/c.txt

/a/b/a.txt

/a/b/b.txt

/a/b/c.txt

结果应该是

一个.txt 2

b.txt 2

c.txt 2

鲍姆

这绝不是一个有效的解决方案,但如果你只是想快速编写一些脚本,它会这样做:

find . -exec basename {} \; | sort | uniq -c | sort

解释:

  • 找到当前目录中的所有文件,并打印它们的基(只是文件名,删除父目录)。要更改搜索的根,请指定路径而不是.
  • 排序按字母顺序排列的列表(这需要下一步工作)
  • 计算每个项目(uniq每次出现计数的-c 标志
  • 对该列表进行排序以按升序查看。

在我的系统上,这给出了一些看起来像

  ... removed some output for clarity ...
  2 CMakeLists.txt
  2 heads
  2 hello
  2 info
  2 origin
  2 refs
  2 remotes
  2 test
  2 test.cpp
  4 .gitignore
  4 HEAD
  4 master
  5 Makefile

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何仅列出HDFS中的文件名

来自分类Dev

根据组将数据发送到HDFS文件系统

来自分类Dev

根据Kafka-> Flume-> hdfs接收的消息数据写入自定义HDFS目录

来自分类Dev

根据文件名中的时间戳值复制文件

来自分类Dev

Python:根据文件大小打印文件名及其目录

来自分类Dev

根据python中的文件名对文件进行排序

来自分类Dev

根据父目录使用R中的特定文件名重命名文件

来自分类Dev

如何循环目录中的文件,并根据每个文件名执行某些任务?

来自分类Dev

根据文件名解构目录结构

来自分类Dev

创建子目录并根据文件名中的日期按日期组织文件

来自分类Dev

HDFS中块的原始文件名

来自分类Dev

根据文件名创建目录名

来自分类Dev

根据项目要求替换同一目录中的文件名

来自分类Dev

PHP:根据包含unix戳的文件名,从10000个文件的目录中仅获取一个文件

来自分类Dev

如何根据文件名和计数文件将文件移动到目录中

来自分类Dev

根据文件名将文件移动到目录中

来自分类Dev

根据一些计算重命名文件名

来自分类Dev

VBA根据文件名长度从目录中移动文件

来自分类Dev

根据时间计算的文件名处理文件

来自分类Dev

Linq根据文件名C#通过升序从目录中获取文件列表

来自分类Dev

Python:根据文件大小打印文件名及其目录

来自分类Dev

根据文件名将文件排序到多个目录中?

来自分类Dev

根据文件名中的文本将文件移动到指定目录

来自分类Dev

如何根据文件名创建多个目录并在linux中更改文件名?

来自分类Dev

在 Bash 中,根据文件名将文件移动到目录

来自分类Dev

根据文件名与另一个文件匹配将文件移动到不同的目录中

来自分类Dev

作为目录的 HDFS“文件”

来自分类Dev

使用R根据文件名重命名目录中的文件

来自分类Dev

根据 hdfs 中的模式列出文件名

Related 相关文章

  1. 1

    如何仅列出HDFS中的文件名

  2. 2

    根据组将数据发送到HDFS文件系统

  3. 3

    根据Kafka-> Flume-> hdfs接收的消息数据写入自定义HDFS目录

  4. 4

    根据文件名中的时间戳值复制文件

  5. 5

    Python:根据文件大小打印文件名及其目录

  6. 6

    根据python中的文件名对文件进行排序

  7. 7

    根据父目录使用R中的特定文件名重命名文件

  8. 8

    如何循环目录中的文件,并根据每个文件名执行某些任务?

  9. 9

    根据文件名解构目录结构

  10. 10

    创建子目录并根据文件名中的日期按日期组织文件

  11. 11

    HDFS中块的原始文件名

  12. 12

    根据文件名创建目录名

  13. 13

    根据项目要求替换同一目录中的文件名

  14. 14

    PHP:根据包含unix戳的文件名,从10000个文件的目录中仅获取一个文件

  15. 15

    如何根据文件名和计数文件将文件移动到目录中

  16. 16

    根据文件名将文件移动到目录中

  17. 17

    根据一些计算重命名文件名

  18. 18

    VBA根据文件名长度从目录中移动文件

  19. 19

    根据时间计算的文件名处理文件

  20. 20

    Linq根据文件名C#通过升序从目录中获取文件列表

  21. 21

    Python:根据文件大小打印文件名及其目录

  22. 22

    根据文件名将文件排序到多个目录中?

  23. 23

    根据文件名中的文本将文件移动到指定目录

  24. 24

    如何根据文件名创建多个目录并在linux中更改文件名?

  25. 25

    在 Bash 中,根据文件名将文件移动到目录

  26. 26

    根据文件名与另一个文件匹配将文件移动到不同的目录中

  27. 27

    作为目录的 HDFS“文件”

  28. 28

    使用R根据文件名重命名目录中的文件

  29. 29

    根据 hdfs 中的模式列出文件名

热门标签

归档