今のところ私はAmazon S3のデータをAmazon Redshift AWSデータパイプラインを使用するのは、現在の日付と時刻のみです。 S3からRedshiftに30分ごとにデータをコピーしたい。最後に処理されたS3ファイル名は別のRedshiftテーブルに保存されます。
誰かがこの質問に答えることができましたか?
回答:
回答№1は2あなたは RedshiftCopyActivity
データパイプラインオブジェクト これを正確に行う。ザ schedule
のフィールド RedshiftCopyActivity
オブジェクトは データパイプラインスケジュールオブジェクト 30分間隔で実行することができます。あなたが定義する必要があります JSONの完全なパイプライン すべてのAWSリソース情報(Redshiftデータノード、EC2インスタンス、S3バケット&キー)。 JSONテンプレート内のソースデータファイルのファイルパスは、データを生成するものによって30分ごとに上書きされる静的ファイルを指すことができます。