任何人都可以详细解释以下文件系统计数器的含义吗？
FILE_BYTES_READ是本地文件系统读取的字节数。假设所有地图输入数据都来自HDFS，那么在地图阶段，FILE_BYTES_READ应该为零。另一方面，reduce的输入文件是reduce侧本地磁盘上的数据，这些数据是从map侧磁盘获取的。因此，FILE_BYTES_READ表示减速器读取的总字节数。
FILE_BYTES_WRITTEN由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘上。映射器写入磁盘的所有字节将包含在FILE_BYTES_WRITTEN中。第二部分来自减速器。在改组阶段，所有化简器将从映射器获取中间数据，并合并并溢出到化简器侧磁盘。减速器写入磁盘的所有字节也将包含在FILE_BYTES_WRITTEN中。
HDFS_BYTES_READ表示作业开始时映射器从HDFS读取的字节。该数据不仅包括源文件的内容，还包括有关拆分的元数据。
HDFS_BYTES_WRITTEN表示写入HDFS的字节。它是最终输出的字节数。
读取操作-读取操作的数量，例如listStatus，getFileBlockLocations，open等。
写操作-写操作的数量，例如create，append，setPermission等。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句