/ / S3の最後に処理されたファイルをRedshiftデータベースに保存する方法 - bash、amazon-web-services、amazon-s3、amazon-redshift

S3の最後に処理されたファイルをRedshiftデータベースに保存する方法 - bash、amazon-web-services、amazon-s3、amazon-redshift

今のところ私はAmazon S3のデータをAmazon Redshift AWSデータパイプラインを使用するのは、現在の日付と時刻のみです。 S3からRedshiftに30分ごとにデータをコピーしたい。最後に処理されたS3ファイル名は別のRedshiftテーブルに保存されます。

誰かがこの質問に答えることができましたか?

回答:

回答№1は2

あなたは RedshiftCopyActivity データパイプラインオブジェクト これを正確に行う。ザ schedule のフィールド RedshiftCopyActivity オブジェクトは データパイプラインスケジュールオブジェクト 30分間隔で実行することができます。あなたが定義する必要があります JSONの完全なパイプライン すべてのAWSリソース情報(Redshiftデータノード、EC2インスタンス、S3バケット&キー)。 JSONテンプレート内のソースデータファイルのファイルパスは、データを生成するものによって30分ごとに上書きされる静的ファイルを指すことができます。