Momentan habe ich eine Lambda-FunktionAusgelöst durch S3-PUT-Ereignisse erstellt das Lambda eine SQS-Nachricht mit dem Namen des S3-Bucket / Key. Dieses Lambda füllt die Warteschlange mit allen neuen S3-Schlüsseln.
Die S3-Buckets enthalten ZIP-Dateien, deren Hauptziel es ist, Daten mit diesen Dateien zu entpacken, zu verarbeiten und zu speichern.
Was ist der beste Service, um alle meine zu nutzen?Java-Code für diesen Prozess, da Lambda selbst auf die Speichergröße beschränkt ist. Ich brauche etwas, das die Warteschlange liest, um die S3-Bucket-Namen zu erhalten, dann eine Verbindung zu ihnen herzustellen und die gesamte Verarbeitung auszuführen, die ich möchte. Ich habe den ganzen Code für die Verarbeitung erstellt, bin aber nicht sicher, ob ich AWS Batch, Ec2, Spark oder was auch immer verwenden sollte. Ich bin mit diesen Diensten nicht vertraut und es scheint, dass Amazon eine Million Dienste anbietet, die im Wesentlichen dasselbe tun.
Antworten:
0 für die Antwort № 1Sie können die automatische Skalierung von EC2-Instanzen einrichten, die Nachrichten von SQS liest, die Dateien entpacken und in einen Bucket zurückschreiben.
Sie können ein tieferes Verständnis erlangen, indem Sie lesen Dies Verknüpfung.
Hinweis: Es wird bevorzugt, für die entpackten Dateien einen anderen Bucket zu verwenden, um den Durchsatz mit S3 zu verbessern.
0 für die Antwort № 2
Sie haben gerade sqs als Quelle für Lambdas hinzugefügt(nicht sicher wann, aber ich kann jetzt sicherlich SQS als Quelle in Lambda hinzufügen). Ich kann jedoch noch keinen Hinweis darauf im Internet finden (dies gilt für die Region Irland).