编写元数据文件时,ThriftParquetWriter实际上会生成两个文件:_metadata和_common_metadata
https://github.com/apache/parquet-mr/blob/master/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileWriter.java
这两个文件有什么区别?它们具有不同的文件大小,因此必须有所不同
谢谢
在查看源代码https://github.com/apache/parquet-mr/blob/master/parquet-hadoop/src/main/java/org/apache/parquet/hadoop/ParquetFileWriter.java在我看来,那:
_common_metadata 包含该目录中实木复合地板文件的合并架构
_common_metadata
_metadata 将仅包含该目录中最新写入的实木复合地板文件的架构
_metadata
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
点击生成二维码
我来说两句