GPからデータを読み取り、Sparkを使用してHDFSに取り込みます。GPテーブルから読み取ったデータを分割するために整数列が必要です。ここでの問題は、プライマリ列または一意の値を持つ列がないことです。このシナリオで最も信頼できる列は、整数/長整数に変換できるタイムスタンプ列です。
タイムスタンプ列のデータは、次の形式で表示されます。
select max(last_updated_timestamp) from schema.tablename => 2018-12-13 13:29:55
ミリ秒を含むタイムスタンプ列をキャストして、スパークコードで使用できるEPOCH値を生成する方法を教えてもらえますか？
を使用できますextract(epoch from last_updated_timestamp)。
この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。
侵害の場合は、連絡してください[email protected]
コメントを追加