将标头添加到 RDD[string] spark scala

马赫HTB

大家好,我有一个 RDD[string],我想在将它保存到文本文件之前向它添加一个标题,这里是我所做的代码

val projectionsTxt = rowMatrix.rows.map(l => l.toString.filter(c => c != '[' & c != ']'))
      val res = projectionsTxt.map(p => {
        var tokens = p.split(",")

        for (i <- 0 to tokens.length - 1) {

          tokens(i) = (BigDecimal(tokens(i)).setScale(2, BigDecimal.RoundingMode.HALF_UP).toDouble).toString()

        }
        tokens.mkString(",")

      })
      val header: RDD[String] = sc.parallelize(Array("col1","col2","col3"))

   header.union(res).saveAsTextFile(strFilePath)

请提供任何帮助,我无法完成。我想获取数据及其标题。谢谢

卡尔登

try :val header: RDD[String] = sc.parallelize(Array("col1,col2,col3"))
列 List 必须与 String ( = a line ) 匹配。你有一个 RDD[String] 。所以你必须声明一个包含一个“String”元素的数组。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

将标头记录(或字符串/文件)添加到 Scala/Java 中的大文件

来自分类Dev

将Spark Java转换为Spark Scala

来自分类Dev

MongoDBObject没有被添加到rrd foreach循环中casbah scala apache spark

来自分类Dev

将标头添加到EndpointAddress

来自分类Dev

Scala将关闭挂钩添加到Scala swing

来自分类Dev

Scala将元素添加到Scala的Nil列表中

来自分类Dev

使用Scala将转换后的列附加到Spark DataFrame

来自分类Dev

从终端在Spark Scala中添加外部库

来自分类Dev

Scala Spark:将集合分为几个RDD?

来自分类Dev

使用Scala案例类为Spark Table生成动态标头

来自分类Dev

将相同的公共标头应用于 scala spark 中数据帧的不同字段

来自分类Dev

将标头添加到307重定向

来自分类Dev

将标头添加到SQL(Sybase)输出

来自分类Dev

将CSP标头添加到Google Cloud Storage

来自分类Dev

如何将HTTP标头添加到Jenkins

来自分类Dev

将Qt专用标头添加到CMake项目

来自分类Dev

将图像添加到UICollection标头Swift

来自分类Dev

如何将多个标头添加到HttpServletResponse

来自分类Dev

如何将图像添加到DataGridTemplateColumn标头

来自分类Dev

将标头添加到307重定向

来自分类Dev

将标头添加到SockJS连接?

来自分类Dev

将支持的标头类型添加到 JsonOutputFormatter

来自分类Dev

将命名空间添加到 XML 中的标头

来自分类Dev

将汇总列添加到Spark DataFrame

来自分类Dev

将Spark添加到Oozie共享库

来自分类Dev

如何使用Spark将新内容添加到记录

来自分类Dev

将任务添加到Build.scala

来自分类Dev

将JSON字段添加到Scala案例类

来自分类Dev

将元素添加到作为IMMUTABLE映射的scala集