Dataproc没有从自定义Conda频道安装自定义Conda软件包

debugcn 发表于 Dev

需要帮助

我试图在GCP中启动单个节点Dataproc“集群”，该集群从这两个节点conda-forge和自定义的Conda通道安装其他软件包。我运行的gcloud命令是：

gcloud beta dataproc clusters create MY_CLUSTER_NAME \
  --enable-component-gateway \
  --bucket MY_GCS_BUCKET \
  --region us-central1 \
  --subnet default \
  --zone us-central1-a \
  --single-node \
  --master-machine-type n1-standard-4 \
  --master-boot-disk-size 500 \
  --image-version 1.5-ubuntu18 \
  --properties spark:spark.jars.packages=org.apache.spark:spark-avro_2.12:2.4.4,spark-env:spark.jars.packages=org.apache.spark:spark-avro_2.12:2.4.4 \
  --optional-components ANACONDA,JUPYTER \
  --max-idle 7200s \
  --scopes 'https://www.googleapis.com/auth/cloud-platform' \
  --project MY_PROJECT_ID \
  --metadata='CONDA_PACKAGES=pandas matplotlib seaborn scikit-learn MY_CUSTOM_PACKAGE' \
  --metadata='CONDA_CHANNELS=conda-forge https://MY_CUSTOM_CONDA_CHANNEL'

我已经确认可以conda install -c https://MY_CUSOMT_CONDA_CHANNEL MY_CUSTOM_PACKAGE在本地安装其他软件包。在日志中搜索群集时，找不到关于其他conda软件包安装的条目。

问题：

在哪里可以找到有助于调试此问题的日志？
上面的命令有什么问题吗？

贸易方式

似乎conda-install.sh在创建集群时没有添加init操作，请参阅此文档中的更多详细信息，例如：

gcloud dataproc clusters create my-cluster \
    --image-version=1.4 \
    --region=${REGION} \
    --metadata='CONDA_PACKAGES=pandas matplotlib seaborn scikit-learn MY_CUSTOM_PACKAGE' \
    --metadata='CONDA_CHANNELS=conda-forge https://MY_CUSTOM_CONDA_CHANNEL' \
    --initialization-actions=gs://goog-dataproc-initialization-actions-${REGION}/python/conda-install.sh

您应该可以在以下位置找到init操作日志/var/log/dataproc-initialization-script-0.log，请参阅此文档中的更多详细信息。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。