我正在尝试使用Spark并行处理一个集合,并且文档中的示例似乎不起作用:
List<Integer> data = Arrays.asList(1, 2, 3, 4, 5);
JavaRDD<Integer> distData = sc.parallelize(data);
我正在LabeledPoint
从记录创建s列表,每个记录包含数据点(double[]
)和标签(默认值:true / false)。
public List<LabeledPoint> createLabeledPoints(List<ESRecord> records) {
List<LabeledPoint> points = new ArrayList<>();
for (ESRecord rec : records) {
points.add(new LabeledPoint(
rec.defaulted ? 1.0 : 0.0, Vectors.dense(rec.toDataPoints())));
}
return points;
}
public void test(List<ESRecord> records) {
SparkConf conf = new SparkConf().setAppName("SVM Classifier Example");
SparkContext sc = new SparkContext(conf);
List<LabeledPoint> points = createLabeledPoints(records);
JavaRDD<LabeledPoint> data = sc.parallelize(points);
...
}
并行化的功能签名不再采用一个参数,这是它在spark-mllib_2.11 v1.3.0中的外观: sc.parallelize(seq, numSlices, evidence$1)
那么关于如何使它起作用的任何想法?
在Java中,您应该使用JavaSparkContext
。
https://spark.apache.org/docs/0.6.2/api/core/spark/api/java/JavaSparkContext.html
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句