Я абсолютно новий в Amazon Elastic MapReduce. У мене є потреба, щоб я міг використовувати свій спеціальний планувальник, який реалізований на основі планувальника потужностей Hadoop, щоб планувати свої роботи в Amazon Elastic MapReduce.
Згідно з моїм сучасним розумінням, досягтице, я можу визначити лише один етап у потоці завдань і подати власний файл jar через SSH-з'єднання до головного вузла. Однак я не можу знайти, як я можу редагувати файли конфігурації xml, як-от місткість-Scheduler.xml у головному вузлі. Хтось знає, як це зробити?
Більше того, якщо я хочу додати динамічний розмірвластивості на ньому, чи можу я динамічно налаштувати кількість вузлів завдань у кластері, коли завдання зараз виконується? Або на етапі розмір кластера повинен залишатися однаковим? Дуже дякую.
Відповіді:
0 для відповіді № 1Для зміни конфігурації Hadoop слід використати завантажувальну дію.
На наступний документ AWS можна посилатися на дії завантажувальної конфігурації Hadoop.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop
Ця стаття в блозі, яку я додав у закладки, також містить деяку інформацію. http://sujee.net/tech/articles/hadoop/amazon-emr-beyond-basics/
Для динамічної зміни розміру кластера одним із варіантів є використання AWS SDK.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/calling-emr-with-java-sdk.html
Використовуючи наступний інтерфейс, ви можете змінити кількість примірників групи екземплярів. http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/AmazonElasticMapReduce.html