AWSはMongoDBからDynamoDB / S3 / Redshiftにデータを移行します

マーク

問題は、MongoDBからDynamoDB / S3 / Redshiftへのデータの移行は、すべてのデータタイプをサポートしているわけではないため、AWSDMSサービスでは利用できないことです。または多分私は間違っています。

問題は、Mongoオブジェクトにスカラーフィールド(配列、マップ)が含まれていないことです。そのため、テーブルモードでAWS DMSを介して移行タスクを実行すると、データがひどくプルされます。何らかの理由で購入すると、選択のみが機能します。変換ルールはDMSによって無視されます(名前の変更と削除を試みました)。

ドキュメントモードではすべて問題ありませんが、変換用のカスタムスクリプトを使用して移行を実行するにはどうすればよいですか?この方法でデータを保存するには、まだ変換が必要です。

名前の変更、フィールドの削除、一部のフィールドのフラット化など、いくつかの変更が必要です(たとえば、マップオブジェクトがあり、いくつかのスカラーフィールドにフラット化する必要があります)。

移行は、S3、Dyanamo、Redshiftのいずれかのソースに実行する必要があります

どんな助けや提案にも感謝します。

ビッグデータ-達人

以下のスクリプトを使用して、MongoDBDBのバックアップを取ります

mongodump -h localhost:27017 -d my_db_name -o $DEST

以下のコマンドを使用して、バックアップをS3バケットに同期します

aws s3 sync ~/db_backups s3://my-bucket-name

S3にデータを入力したら、copyコマンドを使用してRedshiftに非常に簡単にロードできます。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Airflowを使用してRedshiftからS3にデータをアンロードします

分類Dev

Spectrifyを使用して、Parquet形式でRedshiftからS3にデータをオフロードします

分類Dev

AWS Postgres RDSからS3(次にRedshift)にデータをパイプする方法は?

分類Dev

PythonでS3からRedShiftにデータをコピーする(sqlalchemy)

分類Dev

aws s3はs3:// mybucket s3:// mybucket2をローカルにコピーしますか?

分類Dev

Redshift DWに書き込む前にS3バケットからデータを変換する方法は?

分類Dev

ワンステップでAWS S3にPostgresのDBからデータをコピーします

分類Dev

s3からpg_dumpをredshiftにロードする

分類Dev

S3 または EBS のデータ処理用に AWS を設定しますか?

分類Dev

AWS S3から「npminstall」する方法はありますか?

分類Dev

SparkはS3からデータを読み取るときに一貫性を保証しますか?

分類Dev

S3からRedshiftへのデータのコピー

分類Dev

複数の値を持つJSONをS3からRedshiftにコピーします

分類Dev

Spark SQL / Hive / Prestoを使用して、Parquet / S3からRedshiftに直接コピーできますか?

分類Dev

RedshiftからS3に複数のファイルをアンロードします

分類Dev

AWS SQSからS3にデータを転送するための最良の方法は何ですか?

分類Dev

AWS S3はどのポートを使用しますか?

分類Dev

S3からRDSへのデータ移行

分類Dev

S3からRDSへのデータ移行

分類Dev

AWS S3からイメージをコピーし、Pythonを使用してローカルにデータを保存せずにExcelファイル(S3)に書き込むことはできますか?

分類Dev

AWS CLIはS3からEC2にコピーできますか?

分類Dev

Glueを使用してRDSからS3にデータを移動する

分類Dev

gsutil を使用して aws s3 から gcs にデータを転送する - SSL 証明書エラー

分類Dev

S3データをAWS SageMaker Notebookにロードする

分類Dev

AWS AthenaはS3に保存されているデータを更新または挿入できますか?

分類Dev

DynamoDBレコードをKinesisStreamにプッシュしてからS3にプッシュします(AWSコンソールのみを使用)

分類Dev

S3は転送中のデータを暗号化しますか?

分類Dev

S3からRedshiftにのみ新しいファイルをロードする簡単な方法は?

分類Dev

イベントをkafkaからデータベースに直接保存しますか?、いつ、またはなぜ以前にS3 / HDFSを使用しますか?

Related 関連記事

  1. 1

    Airflowを使用してRedshiftからS3にデータをアンロードします

  2. 2

    Spectrifyを使用して、Parquet形式でRedshiftからS3にデータをオフロードします

  3. 3

    AWS Postgres RDSからS3(次にRedshift)にデータをパイプする方法は?

  4. 4

    PythonでS3からRedShiftにデータをコピーする(sqlalchemy)

  5. 5

    aws s3はs3:// mybucket s3:// mybucket2をローカルにコピーしますか?

  6. 6

    Redshift DWに書き込む前にS3バケットからデータを変換する方法は?

  7. 7

    ワンステップでAWS S3にPostgresのDBからデータをコピーします

  8. 8

    s3からpg_dumpをredshiftにロードする

  9. 9

    S3 または EBS のデータ処理用に AWS を設定しますか?

  10. 10

    AWS S3から「npminstall」する方法はありますか?

  11. 11

    SparkはS3からデータを読み取るときに一貫性を保証しますか?

  12. 12

    S3からRedshiftへのデータのコピー

  13. 13

    複数の値を持つJSONをS3からRedshiftにコピーします

  14. 14

    Spark SQL / Hive / Prestoを使用して、Parquet / S3からRedshiftに直接コピーできますか?

  15. 15

    RedshiftからS3に複数のファイルをアンロードします

  16. 16

    AWS SQSからS3にデータを転送するための最良の方法は何ですか?

  17. 17

    AWS S3はどのポートを使用しますか?

  18. 18

    S3からRDSへのデータ移行

  19. 19

    S3からRDSへのデータ移行

  20. 20

    AWS S3からイメージをコピーし、Pythonを使用してローカルにデータを保存せずにExcelファイル(S3)に書き込むことはできますか?

  21. 21

    AWS CLIはS3からEC2にコピーできますか?

  22. 22

    Glueを使用してRDSからS3にデータを移動する

  23. 23

    gsutil を使用して aws s3 から gcs にデータを転送する - SSL 証明書エラー

  24. 24

    S3データをAWS SageMaker Notebookにロードする

  25. 25

    AWS AthenaはS3に保存されているデータを更新または挿入できますか?

  26. 26

    DynamoDBレコードをKinesisStreamにプッシュしてからS3にプッシュします(AWSコンソールのみを使用)

  27. 27

    S3は転送中のデータを暗号化しますか?

  28. 28

    S3からRedshiftにのみ新しいファイルをロードする簡単な方法は?

  29. 29

    イベントをkafkaからデータベースに直接保存しますか?、いつ、またはなぜ以前にS3 / HDFSを使用しますか?

ホットタグ

アーカイブ