問題は、MongoDBからDynamoDB / S3 / Redshiftへのデータの移行は、すべてのデータタイプをサポートしているわけではないため、AWSDMSサービスでは利用できないことです。または多分私は間違っています。
問題は、Mongoオブジェクトにスカラーフィールド(配列、マップ)が含まれていないことです。そのため、テーブルモードでAWS DMSを介して移行タスクを実行すると、データがひどくプルされます。何らかの理由で購入すると、選択のみが機能します。変換ルールはDMSによって無視されます(名前の変更と削除を試みました)。
ドキュメントモードではすべて問題ありませんが、変換用のカスタムスクリプトを使用して移行を実行するにはどうすればよいですか?この方法でデータを保存するには、まだ変換が必要です。
名前の変更、フィールドの削除、一部のフィールドのフラット化など、いくつかの変更が必要です(たとえば、マップオブジェクトがあり、いくつかのスカラーフィールドにフラット化する必要があります)。
移行は、S3、Dyanamo、Redshiftのいずれかのソースに実行する必要があります
どんな助けや提案にも感謝します。
以下のスクリプトを使用して、MongoDBDBのバックアップを取ります
mongodump -h localhost:27017 -d my_db_name -o $DEST
以下のコマンドを使用して、バックアップをS3バケットに同期します
aws s3 sync ~/db_backups s3://my-bucket-name
S3にデータを入力したら、copyコマンドを使用してRedshiftに非常に簡単にロードできます。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加