在Scala中读取大型csv文件的功能样式

debugcn 发表于 Dev

灰

我是函数式编程和scala的新手，所以我的问题似乎有些原始。

有没有使用函数样式在Scala中读取csv文件的特定方法？另外，如何使用函数样式在scala中合并2个csv文件的内部联接？

我知道spark，通常使用数据框，但是在scala中没有任何想法，并且发现它也很难在google上搜索，因为对此了解不多。另外，如果任何人都知道scala的功能样式编程的良好链接，那将是很大的帮助。

Simpadjo

这个问题确实太广泛了。

有没有使用函数样式在Scala中读取csv文件的特定方法？

到目前为止，我还不知道国王解析CSV完全没有麻烦的道路。CSV解析包括

逐行输入
理解，如何处理（可选）标头
根据CSV规范准确地解析每一行
将线零件变成业务对象

我建议

将您的输入变成 Iterator[String]
使用您选择的库将每行分成几部分（例如opencsv）
从线零件手动创建所需的域对象

这是一个简单的示例（忽略错误处理和潜在的标头）

case class Person(name: String, street: String)
val lineParser = new CSVParserBuilder().withSeparator(',').build()
val lines: Iterator[String] = Source.fromInputStream(new FileInputStream("file.csv")).getLines()
val parsedObjects: Iterator[Person] = lines.map(line => {
  val parts: Array[String] = lineParser.parseLine(line)
  Person(parts(0), parts(1))
})

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。