私はSparkStructuredStreamingを使用しています。また、私はで働いていScalaます。設定ファイルをsparkアプリケーションに渡したい。でホストされてHDFSいるこの構成ファイル。例えば;
spark_job.conf（HOCON）
spark {
appName: "",
master: "",
shuffle.size: 4
etc..
}
kafkaSource {
servers: "",
topic: "",
etc..
}
redisSink {
host: "",
port: 999,
timeout: 2000,
checkpointLocation: "hdfs location",
etc..
}
どうすればSparkアプリケーションに渡すことができますか？hosted HDFSSparkでこのfile（）を読み取るにはどうすればよいですか？
次の方法で、HDFSからHOCON構成を読み取ることができます。
import com.typesafe.config.{Config, ConfigFactory}
import java.io.InputStreamReader
import java.net.URI
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.conf.Configuration
val hdfs: FileSystem = FileSystem.get(new URI("hdfs://"), new Configuration())
val reader = new InputStreamReader(hdfs.open(new Path("/path/to/conf/on/hdfs")))
val conf: Config = ConfigFactory.parseReader(reader)
namenodeのURIをに渡すこともできFileSystem.get(new URI("your_uri_here"))ます。コードは引き続き構成を読み取ります。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加