AWS Kinesis Firehose が Redshift にデータを挿入しない

debugcn 投稿 Dev

ケルビン・ロウ

Stack Overflow でこの質問が何度か尋ねられたことは知っていますが、私が読んだ回答では、私が経験していることを解決できません。

MySQL テーブルを Kinesis Streams にコピーするための Boto3 スクリプトがあります。そしてもう一方の端には、Kinesis Streams からストリームを読み取り、S3 に書き込むための KCL Node JS スクリプトがあります。ここまでは順調ですね。

Kinesis Firehose、Redshift、S3 を同じリージョンにセットアップしました。次に、S3 から読み取り、Redshift に書き込むように Firehose を設定しました。Firehose で提供されたデモデータでテストすると、すべて良好です。

次に、MySQL テーブルのすべての列を含む Redshift テーブルをセットアップします。一部のデータ型は Redshift でサポートされていないため、別のデータ型を使用しましたが、Firehose は問題なく Redshift テーブルに書き込むことができると確信していました。

以下は MySQL テーブルのスクリーンショットです。

以下は Redshift テーブルのスクリーンショットです。

ご覧のとおり、データ型はすべて同じではありません。Redshift は、すべてのデータ型が MySQL テーブルと同じでなければならないほどレベルに敏感なのだろうか。

ところで、Firehost COPY コマンドでJSON 'auto' を指定し、ロギングを有効にしました。残念ながら、エラーは記録されていません。

pnv

Redshift にレコードが表示されない理由は無数にあります。Firehose が S3 にレコードを配置した後、Redshift から COPY コマンドを実行して、S3 からクラスターにファイルを取得します。

STL_LOAD_ERRORS が表示されない場合、Firehose は Redshift に接続できません。Firehose コンソールでこれを確認できます。詳細情報は Redshift Logs タブにあります。

また、Redshift の VPC の下のリージョンで Firehose の IP 範囲からの着信接続を許可していることを確認してください。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集2021-08-2

コメントを追加

サインイン

分類Dev

Related 関連記事

記事

AWS Kinesis Firehose が Redshift にデータを挿入しない

AWS Kinesis Firehose が Redshift にデータを挿入しない

AWS KinesisFirehoseがRedshiftにデータを挿入しない

AWS Kinesis Firehoseに対応するKafkaはありますか？

Aws KInesis Terraform - How to connect Data Streams to Data Firehose

AWS Kinesis Firehose：aws cli＆bashを使用してJSONを含む複数のファイルを配置する方法

Auto wire kinesis stream to kinesis firehose?

Kinesis Firehoseデータをdynamodbテーブルに渡す方法は？

AWS Kinesis FirehoseからLambda、LambdaからS3へのJava

Lambda.InvokeAccessDenied from Kinesis Firehose

AWS Firehose newline Character

Kinesis Firehoseはフィルタリングを実行できますか？

AWS javascript SDK Kinesis getShardIteratorエラー：UnexpectedParameter：予期しないキー 'Timestamp'がparamsに見つかりました

aws KCL（Kinesis Client Library）ライブラリがビルド時にエラーをスローしています

AWS Kinesis for Web Services

Problem writing data to S3 with Kinesis Firehose Delivery Stream from Kinesis Data Stream source

Kinesis-> Redshiftからデータを一括コピーする方法

Kinesis Firehoseに送信されたレコードは、遅れてKibanaに表示されます

spark and aws redshift：java.sql.SQLException：jdbc：redshift：//xxx.us-west-2.redshift.amazonaws.com：5439に適したドライバーが見つかりません

AWS Firehose and Goの問題

AWS Kinesis：名前付きストリームが存在するかどうかを確認する

AWSラムダからKinesisプロセスへの公開が終了しました

AWS Kinesisオブジェクトには属性がありません：update_shard_count

AWS Redshift：DISTKEY / SORTKEY列を圧縮する必要がありますか？

AWS Redshift：DISTKEY / SORTKEY列を圧縮する必要がありますか？

psycopg2が実際にデータを挿入しない

LaravelがJsonデータをMySQLに挿入しない

Pythonがデータをmysqlに挿入しない

Amazon LambdaJava関数がDynamoDBにデータを挿入しない

AWS KinesisFirehoseがRedshiftクラスターにデータを書き込むために使用するパスワードを管理する方法

Pyhonを使用してRedShiftにデータを挿入します