PrestoDBのS3に接続できません:サービスエンドポイントから認証情報を読み込めません

ShubhamA。

PrestoDBParquetを介してS3ファイルを直接クエリできるように、S3バケットをApacheHiveに接続しています。TeradataのPrestoDBにHDPVMを使用しています。

このために、hive-site.xmlファイルを設定し、AWSアクセスキーとシークレットキーを次のようにファイルに追加しました/etc/hive/conf/hive-site.xml

<property>
  <name>hive.s3.aws-access-key</name>
  <value>something</value>
</property>
<property>
  <name>hive.s3.aws-secret-key</name>
  <value>some-other-thing</value>
</property>

これで、Parquetファイルが存在するS3バケットのURLパスは次のようになります。

https://s3.console.aws.amazon.com/s3/buckets/sb.mycompany.com/someFolder/anotherFolder/?region=us-east-2&tab=overview

外部テーブルを作成するときに、クエリでS3の場所を次のように指定しました。

CREATE TABLE hive.project.data (... schema ...)
WITH ( format = 'PARQUET', 
  external_location = 's3://sb.mycompany.com/someFolder/anotherFolder/?region=us-east-2&tab=overview')

ApacheHiveS3Bucketsに接続できず、次の--debugフラグでエラーが発生します。

Query 20180316_112407_00005_aj9x6 failed: Unable to load credentials from service endpoint

=========   TECHNICAL DETAILS   =========
[ Error message ]
Unable to load credentials from service endpoint

[ Session information ]
ClientSession{server=http://localhost:8080, user=presto, clientInfo=null, catalog=null, schema=null, timeZone=Zulu, locale=en_US, properties={}, transactionId=null, debug=true, quiet=false}

[ Stack trace ]
com.amazonaws.AmazonClientException: Unable to load credentials from service endpoint
    at com.amazonaws.auth.EC2CredentialsFetcher.handleError(EC2CredentialsFetcher.java:180)
    at com.amazonaws.auth.EC2CredentialsFetcher.fetchCredentials(EC2CredentialsFetcher.java:159)
    at com.amazonaws.auth.EC2CredentialsFetcher.getCredentials(EC2CredentialsFetcher.java:82)
    at com.amazonaws.auth.InstanceProfileCredentialsProvider.getCredentials(InstanceProfileCredentialsProvider.java:104)
    at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4016)
    at com.amazonaws.services.s3.AmazonS3Client.getBucketRegionViaHeadRequest(AmazonS3Client.java:4478)
    at com.amazonaws.services.s3.AmazonS3Client.fetchRegionFromCache(AmazonS3Client.java:4452)
    at com.amazonaws.services.s3.AmazonS3Client.resolveServiceEndpoint(AmazonS3Client.java:4426)
    at com.amazonaws.services.s3.AmazonS3Client.getObjectMetadata(AmazonS3Client.java:1167)
    at com.amazonaws.services.s3.AmazonS3Client.getObjectMetadata(AmazonS3Client.java:1152)
    at com.facebook.presto.hive.PrestoS3FileSystem.lambda$getS3ObjectMetadata$2(PrestoS3FileSystem.java:552)
    at com.facebook.presto.hive.RetryDriver.run(RetryDriver.java:138)
    at com.facebook.presto.hive.PrestoS3FileSystem.getS3ObjectMetadata(PrestoS3FileSystem.java:549)
    at com.facebook.presto.hive.PrestoS3FileSystem.getFileStatus(PrestoS3FileSystem.java:305)
    at org.apache.hadoop.fs.FileSystem.isDirectory(FileSystem.java:1439)
    at com.facebook.presto.hive.HiveMetadata.getExternalPath(HiveMetadata.java:719)
    at com.facebook.presto.hive.HiveMetadata.createTable(HiveMetadata.java:690)
    at com.facebook.presto.spi.connector.classloader.ClassLoaderSafeConnectorMetadata.createTable(ClassLoaderSafeConnectorMetadata.java:218)
    at com.facebook.presto.metadata.MetadataManager.createTable(MetadataManager.java:505)
    at com.facebook.presto.execution.CreateTableTask.execute(CreateTableTask.java:148)
    at com.facebook.presto.execution.CreateTableTask.execute(CreateTableTask.java:57)
    at com.facebook.presto.execution.DataDefinitionExecution.start(DataDefinitionExecution.java:111)
    at com.facebook.presto.execution.QueuedExecution.lambda$start$1(QueuedExecution.java:63)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Network is unreachable
    at java.net.PlainSocketImpl.socketConnect(Native Method)
    at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
    at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
    at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
    at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
    at java.net.Socket.connect(Socket.java:589)
    at sun.net.NetworkClient.doConnect(NetworkClient.java:175)
    at sun.net.www.http.HttpClient.openServer(HttpClient.java:432)
    at sun.net.www.http.HttpClient.openServer(HttpClient.java:527)
    at sun.net.www.http.HttpClient.<init>(HttpClient.java:211)
    at sun.net.www.http.HttpClient.New(HttpClient.java:308)
    at sun.net.www.http.HttpClient.New(HttpClient.java:326)
    at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:1169)
    at sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1105)
    at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:999)
    at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:933)
    at com.amazonaws.internal.ConnectionUtils.connectToEndpoint(ConnectionUtils.java:47)
    at com.amazonaws.internal.EC2CredentialsUtils.readResource(EC2CredentialsUtils.java:106)
    at com.amazonaws.internal.EC2CredentialsUtils.readResource(EC2CredentialsUtils.java:77)
    at com.amazonaws.auth.InstanceProfileCredentialsProvider$InstanceMetadataCredentialsEndpointProvider.getCredentialsEndpoint(InstanceProfileCredentialsProvider.java:117)
    at com.amazonaws.auth.EC2CredentialsFetcher.fetchCredentials(EC2CredentialsFetcher.java:121)
    ... 24 more
========= TECHNICAL DETAILS END =========

キーを追加した後、PrestDBサーバーを再起動しました。次に、プロパティを次の場所に追加してみました/home/presto/.prestoadmin/catalog/hive.properties

connector.name=hive-hadoop2
hive.metastore.uri=thrift://localhost:9083
hive.allow-drop-table=true
hive.allow-rename-table=true
hive.time-zone=UTC
hive.metastore-cache-ttl=0s
hive.s3.use-instance-credentials=false
hive.s3.aws-access-key=something
hive.s3.aws-secret-key=some-other-thing

PrestoDBサーバーを再起動しましたが、同じ問題が発生します。

次に、バケット名のみを使用してクエリでS3バケットの場所を変更しました。

external_location = 's3://sb.mycompany.com'

そしてs3aスキームも:

external_location = 's3a://sb.mycompany.com'

しかし、同じ問題がまだ存在しています。私は何が間違っているのですか?

ShubhamA。

これは恥ずかしいです。使用していたVMで、ネットワークアダプターに問題があったため、VMがインターネットに接続できませんでした。アダプターを修正しましたが、動作しています。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

SparkとJavaを使用してs3からファイルを読み取るときに、サービスエンドポイントに接続できませんでした

分類Dev

AKSサービスエンドポイントに接続できません

分類Dev

InstanceProfileCredentialsProviderでEC2インスタンスの認証情報を読み込めません

分類Dev

チェーンSpringCloud StreamKinesisバインダー内のプロバイダーからAWS認証情報を読み込めません

分類Dev

Golangを使用してサービスアカウントの認証情報でGoogleスプレッドシートにアクセスできません

分類Dev

mysqlに接続できません:認証プラグインを読み込めません 'caching_sha2_password

分類Dev

react jsでのAWSポリー(テキスト読み上げ)。AWSコンテキストを取得して認証情報を提供できません

分類Dev

EC2インスタンスメタデータサービスから認証情報を取得できませんでした

分類Dev

AWS S3 CLI-エンドポイントURLに接続できませんでした

分類Dev

JenkinsのAWSSpotFleetプラグインはAWS認証情報を読み込めません

分類Dev

Firebase「デフォルトの認証情報を読み込めませんでした。」正常に動作する時間の50%はランダムにのみ発生し、残りの50%はこのエラーを発生させます

分類Dev

URL接続を介してサイトからコンテンツを読み込めません

分類Dev

Scrapy Runspider:エラー:「WebHarvestSpider.py」を読み込めません:「scrapy」から名前「squeue」をインポートできません

分類Dev

AWS認証情報を読み込めません

分類Dev

OpenShiftビルドサービスを使用してイメージをビルドできません:ストリームの読み取り/書き込みエラーのため、バイナリビルドをインスタンス化できません

分類Dev

EC2インスタンスにAWS認証情報をロードできません

分類Dev

NVIDIAドライバー:情報を読み込めません

分類Dev

Facebook認証を使用したOmniauthからのエラー-URLを読み込めません:このURLのドメインはアプリのドメインに含まれていません

分類Dev

kubernetesにノード情報を読み込めません

分類Dev

Identity Server 3ベースのサービスにサービス情報/ヘルスチェックエンドポイントを追加できますか?

分類Dev

RESTful Webサービス呼び出しで「トランスポート接続からデータを読み取れません:既存の接続が(強制的に)閉じられました」

分類Dev

Firebase関数:デフォルトの認証情報を読み込めませんでした

分類Dev

prestodb更新のために検出サーバーに接続できません

分類Dev

Kafka 0.10.2(コマンドライン)でSSLを使用して認証を構成できません-プロデューサーとコンシューマーはトピックへの書き込みまたはトピックからの読み取りができません

分類Dev

SSMSからAzureSQLデータベースに接続できません:「このサーバーのパブリックデータエンドポイントにアクセスできません...」

分類Dev

パスワード認証に失敗したため、サンドボックスインスタンスに接続できません

分類Dev

プライベートAzureDevOpsNuGetフィードのソースエラーのサービスインデックスを読み込めません

分類Dev

デプロイメントポッドはClusterIPサービスに接続できません

分類Dev

カスタムエンドポイントの設定でS3からポーリングできません

Related 関連記事

  1. 1

    SparkとJavaを使用してs3からファイルを読み取るときに、サービスエンドポイントに接続できませんでした

  2. 2

    AKSサービスエンドポイントに接続できません

  3. 3

    InstanceProfileCredentialsProviderでEC2インスタンスの認証情報を読み込めません

  4. 4

    チェーンSpringCloud StreamKinesisバインダー内のプロバイダーからAWS認証情報を読み込めません

  5. 5

    Golangを使用してサービスアカウントの認証情報でGoogleスプレッドシートにアクセスできません

  6. 6

    mysqlに接続できません:認証プラグインを読み込めません 'caching_sha2_password

  7. 7

    react jsでのAWSポリー(テキスト読み上げ)。AWSコンテキストを取得して認証情報を提供できません

  8. 8

    EC2インスタンスメタデータサービスから認証情報を取得できませんでした

  9. 9

    AWS S3 CLI-エンドポイントURLに接続できませんでした

  10. 10

    JenkinsのAWSSpotFleetプラグインはAWS認証情報を読み込めません

  11. 11

    Firebase「デフォルトの認証情報を読み込めませんでした。」正常に動作する時間の50%はランダムにのみ発生し、残りの50%はこのエラーを発生させます

  12. 12

    URL接続を介してサイトからコンテンツを読み込めません

  13. 13

    Scrapy Runspider:エラー:「WebHarvestSpider.py」を読み込めません:「scrapy」から名前「squeue」をインポートできません

  14. 14

    AWS認証情報を読み込めません

  15. 15

    OpenShiftビルドサービスを使用してイメージをビルドできません:ストリームの読み取り/書き込みエラーのため、バイナリビルドをインスタンス化できません

  16. 16

    EC2インスタンスにAWS認証情報をロードできません

  17. 17

    NVIDIAドライバー:情報を読み込めません

  18. 18

    Facebook認証を使用したOmniauthからのエラー-URLを読み込めません:このURLのドメインはアプリのドメインに含まれていません

  19. 19

    kubernetesにノード情報を読み込めません

  20. 20

    Identity Server 3ベースのサービスにサービス情報/ヘルスチェックエンドポイントを追加できますか?

  21. 21

    RESTful Webサービス呼び出しで「トランスポート接続からデータを読み取れません:既存の接続が(強制的に)閉じられました」

  22. 22

    Firebase関数:デフォルトの認証情報を読み込めませんでした

  23. 23

    prestodb更新のために検出サーバーに接続できません

  24. 24

    Kafka 0.10.2(コマンドライン)でSSLを使用して認証を構成できません-プロデューサーとコンシューマーはトピックへの書き込みまたはトピックからの読み取りができません

  25. 25

    SSMSからAzureSQLデータベースに接続できません:「このサーバーのパブリックデータエンドポイントにアクセスできません...」

  26. 26

    パスワード認証に失敗したため、サンドボックスインスタンスに接続できません

  27. 27

    プライベートAzureDevOpsNuGetフィードのソースエラーのサービスインデックスを読み込めません

  28. 28

    デプロイメントポッドはClusterIPサービスに接続できません

  29. 29

    カスタムエンドポイントの設定でS3からポーリングできません

ホットタグ

アーカイブ