Actuellement, j'ai une fonction lambda qui estdéclenché par des événements S3 PUT, le lambda crée un message SQS avec le nom du compartiment / clé S3. Ce lambda remplit le que avec toutes les nouvelles clés S3 mises en place.
Les compartiments S3 contiennent des fichiers zip dont le but principal est de décompresser, traiter et stocker des données avec ces fichiers.
Quel est le meilleur service à utiliser pour mettre tout moncode java pour effectuer ce processus car lambda est limité à la taille de la mémoire. J'ai besoin de quelque chose qui lit le que pour obtenir les noms de seau S3 puis se connecte à eux et fait tout le traitement que je veux. J'ai tout le code actuall fait pour le traitement mais je ne suis pas sûr si je devrais utiliser AWS batch, Ec2, spark ou autre. Je ne connais pas bien ces services et il semble que Amazon propose un million de services qui font essentiellement la même chose.
Réponses:
0 pour la réponse № 1Vous pouvez configurer des instances de mise à l'échelle automatique EC2, qui lisent les messages de SQS, décompressent les fichiers et écrivent dans un compartiment.
Vous pouvez obtenir une compréhension approfondie en lisant ce lien.
Remarque: Il serait préférable d’utiliser un compartiment différent pour les fichiers décompressés afin d’améliorer le débit avec S3.
0 pour la réponse № 2
Ils ont juste ajouté sqs comme source pour les lambdas(Je ne sais pas quand, mais je peux certainement ajouter SQS en tant que source dans lambda maintenant). Je ne vois pas encore de référence à cela sur Internet (en Irlande).