データブリックス-ドライバーログを自分のマシンにコピーするにはどうすればよいですか？

ドライバログをローカルマシンにコピーするには、さまざまな方法があります。

オプション1：クラスタードライバーログ：

Azure DatabricksWorkspaceに移動します=>クラスターを選択します=>ドライバーログをクリックします=>ローカルマシンにダウンロードします。

The direct print and log statements from your notebooks and libraries goes to the driver logs. The logs have three outputs:

• Standard output

• Standard error

• Log4j logs

The log files are rotated periodically. Older log files appear at the top of the page, listed with timestamp information. You can download any of the logs for troubleshooting.

Option2: Cluster Log Delivery:

When you create a cluster, you can specify a location to deliver Spark driver and worker logs. Logs are delivered every five minutes to your chosen destination. When a cluster is terminated, Databricks guarantees to deliver all logs generated up until the cluster was terminated.

The destination of the logs depends on the cluster ID. If the specified destination is dbfs:/cluster-log-delivery, cluster logs for 0630-191345-leap375 are delivered to dbfs:/cluster-log-delivery/0630-191345-leap375.

To configure the log delivery location:

1. On the cluster configuration page, click the Advanced Options toggle.

2. At the bottom of the page, click the Logging tab.

3. Select a destination type.

4. Enter the cluster log path.

To Download the Cluster Logs to Local Machine:

Install the Databricks CLI, configure it with your Databricks credentials, and use the CLI's dbfs cp command. For example: dbfs cp dbfs:/FileStore/azure.txt ./azure.txt.

If you want to download an entire folder of files, you can use dbfs cp -r <DBFS Path> <LocalPath>.

• Open cmd prompt.
• Install Python: https://www.python.org/downloads/
• Databricksをインストールします。 pip install databricks-cli

• ホストと生成されたアクセストークンをコピーします。

  ホスト：https：//centralus.azuredatabricks.net/？

  トークン：46546fgdsgfdhhh65fdh546sdsdrfdfghf12

• データブリックスの構成： datbricks configure

Databricksホスト（httpsで始まる必要があります：//）：https://centralus.azuredatabricks.net/

ユーザー名：[email protected]

パスワード：アクセストークンを貼り付けます

確認のために繰り返します：アクセストークンを貼り付けます

• 次に、以下のコマンドレットを実行して、ログをローカルマシンにコピーします

dbfs cp -r dbfs：/ cluster-logs / 0731-081420-tees851 / driver C：\ Users \ Azure \ Desktop \ Logs

お役に立てれば。