AWS Glueを使用して、オンプレミスのOracleデータベースからビューを抽出する必要があります。クローラーがデータベーステーブルから読み取るように正常にポイントできます。しかし、データベースビューをポイントしようとしても、何も起こりません。残念ながら、すべてのデータはビューの背後で抽象化されています。これは機能する必要がありますか？
また、JDBCデータベースからテーブルまたはビューを抽出する場合、最初にAWS Glueデータカタログにテーブルを作成する必要がありますか？
しかし、データベースビューをポイントしようとしても、何も起こりません。残念ながら、すべてのデータはビューの背後で抽象化されています。これは機能する必要がありますか？
残念ながら、Glueクローラーはクロールビューをサポートしていません。
また、JDBCデータベースからテーブルまたはビューを抽出する場合、最初にAWS Glueデータカタログにテーブルを作成する必要がありますか？
はいといいえ
GlueネイティブDynamicFrameのみを使用する場合は、最初にテーブルメタデータをクロールして、Glueカタログに保存する必要があります。
DynamicFramesについて心配していない場合は、Glueジョブ内のテーブルとビューを読み取ることができるspark JDBCを利用できます。このため、Glueカタログにメタデータが存在する必要はありません。JDBCを介してsparkDataFrameにデータを読み込む方法について詳しくは、これとこれを参照してください。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加