我想从使用Spark在ALS中进行协作过滤的结果中提取用户和项目特征（潜在因素）。到目前为止，我拥有的代码：
import org.apache.spark.mllib.recommendation.ALS
import org.apache.spark.mllib.recommendation.MatrixFactorizationModel
import org.apache.spark.mllib.recommendation.Rating
// Load and parse the data
val data = sc.textFile("myhdfs/inputdirectory/als.data")
val ratings = data.map(_.split(',') match { case Array(user, item, rate) =>
Rating(user.toInt, item.toInt, rate.toDouble)
})
// Build the recommendation model using ALS
val rank = 10
val numIterations = 10
val model = ALS.train(ratings, rank, numIterations, 0.01)
// extract users latent factors
val users = model.userFeatures
// extract items latent factors
val items = model.productFeatures
// save to HDFS
users.saveAsTextFile("myhdfs/outputdirectory/users") // does not work as expected
items.saveAsTextFile("myhdfs/outputdirectory/items") // does not work as expected
但是，写入HDFS的内容并非我所期望的。我希望每一行都有一个元组（userId，Array_of_doubles）。相反，我看到以下内容：
[myname@host dir]$ hadoop fs -cat myhdfs/outputdirectory/users/*
(1,[D@3c3137b5)
(3,[D@505d9755)
(4,[D@241a409a)
(2,[D@c8c56dd)
.
.
它正在转储数组的哈希值，而不是整个数组。我将以下操作设置print为所需的值：
for (user <- users) {
val (userId, lf) = user
val str = "user:" + userId + "\t" + lf.mkString(" ")
println(str)
}
这确实可以打印我想要的内容，但随后无法写入HDFS（在控制台上打印）。
我应该怎么做才能将完整的阵列正确写入HDFS？
Spark版本是1.2.1。
@JohnTitusJungao是正确的，并且以下几行按预期工作：
users.saveAsTextFile("myhdfs/outputdirectory/users")
items.saveAsTextFile("myhdfs/outputdirectory/items")
这就是原因，userFeatures返回RDD[(Int,Array[Double])]。数组值由您在输出中看到的符号表示，例如[D@3c3137b5，D对于double，其后是@和十六进制代码，该代码是使用Java toString方法针对此类对象创建的。在这里更多。
val users: RDD[(Int, Array[Double])] = model.userFeatures
为了解决这个问题，您需要将数组设置为字符串：
val users: RDD[(Int, String)] = model.userFeatures.mapValues(_.mkString(","))
项目也是如此。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句