Имам AWS EMR клъстер. Създадох стъпка за този клъстер, който изпълнява програмата "samplespark.py" (която се съдържа в кофа S3). samplespark.py създава файл и записва някакъв изход към този файл или поне го прави, когато го тествам на компютъра си. Когато стартирам samplepark.py на AWS EMR, не мога да намеря изходния файл.
Как да напиша изходен файл в Amazon S3 кофа?
Отговори:
0 за отговор № 1Алтернативно можете да използвате мини клиент, т.е.
Можете да насочите резултата директно към кофата S3 като обект.
$ python samplespark.py | mc тръба s3 / myoutput / output.txt
Надявам се, че помага.