我有一个具有类似架构的数据框，我需要将数据附加到AVRO文件中。我不喜欢将avro文件作为一部分添加到文件夹中。仅供参考，我的AVRO文件未作为部分放入该文件夹。您能帮我解决任务吗？
您可以在写入数据帧时使用模式覆盖来写入数据。
但是零件文件是在spark进行分布式处理时创建的，每个执行者都会根据数据量吐出一个文件
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
点击生成二维码
我来说两句