我的 hdfs 位置有 1 年的数据，我想将过去 6 个月的数据复制到另一个 hdfs 位置。是否可以直接从 hdfs 命令复制 6 个月的数据，或者我们是否需要编写 shell 脚本来复制过去 6 个月的数据？
我已经尝试过 hdfs 命令来执行此操作，但没有奏效。
我尝试使用下面的 shell 脚本，它运行良好，直到创建 TempFile 但抛出错误
$ sh scriptnew.sh
scriptnew.sh: line 8: syntax error: unexpected end of file
并且脚本不会进一步执行。
下面是我使用的shell脚本。
#!/bin/bash
hdfs dfs -ls /hive/warehouse/data.db/all_history/ |awk 'BEGIN{ SIXMON=60*60*24*180; "date +%s" | getline NOW } { cmd="date -d'\''"$6" "$7"'\'' +%s"; cmd | getline WHEN; DIFF=NOW-SIXMON; if(WHEN > DIFF){print $8}}' >> TempFile.txt
cat TempFile.txt |while read line
do
echo $i
hdfs dfs -cp -p $line /user/can_anns/all_history_copy/;
done
可能是什么错误以及如何解决这个问题？
要将 6 个月的文件从 hdfs 位置复制到另一个位置，我们可以使用以下脚本。
脚本应该从您的本地 linux 位置运行。
#!/bin/bash
hdfs dfs -ls /hive/warehouse/data.db/all_history/ |awk 'BEGIN{ SIXMON=60*60*24*180; "date +%s" | getline NOW } { cmd="date -d'\''"$6" "$7"'\'' +%s"; cmd | getline WHEN; DIFF=NOW-SIXMON; if(WHEN > DIFF){print $8}}' >> TempFile.txt
cat TempFile.txt |while read line
do
echo $i
hdfs dfs -cp -p $line /user/can_anns/all_history_copy/;
done
第 2 行：我们将最多 180 天的文件列表复制到 TempFile。然后我们遍历这个临时文件，如果找到匹配，则复制该文件。
如果您正在从 Windows 编写脚本并复制到 linux 机器，有时它可能无法工作并显示语法错误。为避免回车错误，将脚本复制到 linux 机器本地路径后，运行以下命令。sed -i 's/\r//'然后运行脚本 >>> sh FileName.sh
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句