我们有一个功能齐全的Spark应用程序，该应用程序从属性文件中提取了很多参数。现在我们要将应用程序转换为Azure笔记本格式。整个代码运行良好，并通过硬编码参数给出了预期的结果。但是是否也可以在Azure Databricks Notebook中使用外部属性文件？如果可以，那么我们需要在哪里放置属性文件？
您可以利用Databricks DBFS FilestoreAzure Databricks笔记本从此处访问用户的文件。
要上传您拥有的属性文件，可以使用2个选项
使用wget，
import sys
"wget -P /tmp/ http://<your-repo>/<path>/app1.properties"
dbutils.fs.cp("file:/tmp/app1.properties", "dbfs:/FileStore/configs/app1/")
使用dbfs.fs.put，（可能是创建该文件的一次性活动）
dbutils.fs.put("FileStore/configs/app1/app1.properties", "prop1=val1\nprop2=val2")
要导入属性文件值，
properties = dict(line.strip().split('=') for line in open('/dbfs/FileStore/configs/app1/app1.properties'))
希望这可以帮助！！
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
我来说两句