Azure Databricks中的Python版本
学习者
我试图找出我在Databricks中使用的python版本。
为了找出我尝试过的
import sys
print(sys.version)
我得到的输出为3.7.3
但是当我去集群-> SparkUI->环境时
我看到群集Python版本是2。
这是指哪个版本？
当我尝试跑步时
%sh python --version
我仍然得到Python 3.7.3
每个工作程序/驱动程序节点可以有不同的python版本吗？
注意：我正在使用一个安装程序，其中有1个工作程序节点和1个驱动程序节点（总共2个具有相同规格的节点），并且Databricks运行时版本为6.5 ML
CHEEKATLAPRADEEP-MSFT
更新：此问题已修复。
对于新集群：如果创建一个新集群，则其python环境变量为3。
对于现有群集：您需要在“群集配置” >“高级”中的“环境变量”选项卡中添加，它会在“环境变量”中更改。
PYSPARK_PYTHON = /数据块/ python3 / bin / python3
谢谢让我们注意到这个。这是一个产品错误，目前我正在与产品团队合作，以尽快解决此问题。
使用UI创建的集群的默认Python版本是Python 3。
作为repro的一部分，我创建了Databricks Runtime Version：6.5 ML，并观察到了相同的行为。
群集-> SparkUI->环境显示不正确的版本。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
调整类路径/在Azure Databricks中更改Spring版本
- 2
在Azure Databricks中配置GC
- 3
从Databricks中的Azure Datalake读取AVRO
- 4
在Azure Databricks中查询SQL Server表
- 5
在Azure Databricks中编写Spark数据框
- 6
Azure Databricks中的外部属性文件
- 7
在Azure Databricks上使用python将数据写入Azure SQL
- 8
在Azure Databricks中使用Python将DF写入SQL Server
- 9
在Azure Databricks中使用Python将DF写入SQL Server
- 10
熊猫缺少Azure Databricks Notebook中的read_parquet函数
- 11
Azure Databricks中DBFS的数据大小限制是多少
- 12
使用 Databricks 中现有群集的 Azure 数据工厂
- 13
在Microsoft Azure WebJob中指定Python版本？
- 14
Azure存储帐户中的最低TLS版本
- 15
未在 Azure DevOps 版本中安装 Nuget
- 16
如何使用Python从Azure Databricks插入Azure SQL数据库
- 17
尝试访问Azure Databricks中的Azure DBFS文件系统时出现安装错误
- 18
为什么Azure Databricks需要将数据存储在Azure的临时存储中
- 19
Python中的Azure WebJobs
- 20
Python中的Azure WebJobs
- 21
python azure中的PeekBatch
- 22
Azure 中的 Python 库
- 23
从Azure Databricks读取Excel文件
- 24
Databricks与Azure事件中心连接
- 25
Azure Databricks 移动日志分析
- 26
什么是Azure API版本
- 27
Windows Azure特定版本？
- 28
Azure StorageClient版本控制
- 29
Azure连续部署-Azure SDK版本要求
我来说两句