Polecenie powłoki YARN, aby uzyskać liczbę kontenerów i vcores używanych przez uruchamianie aplikacji - hadoop, przędza

hadoop job -list tylko wydaje się pokazywać zadania mapreduce, ale mój interfejs użytkownika menedżera zasobów pokazuje takie rzeczy jak "Przydzielone CPU VCores" i "Przydzielona MB pamięci" dla wszystkich zadań uruchomionych na PRZECHOWANIU (w tym rzeczy takie jak Spark i Tez).

Jak mogę uzyskać te wyniki za pośrednictwem wiersza poleceń zamiast przechodzenia do interfejsu użytkownika?

Odpowiedzi:

YARN obsługuje różne typy aplikacji. "MapReduce" to jeden z typów aplikacji obsługiwanych przez YARN. Jeśli użyjesz hadoop job (który jest przestarzały, powinieneś go użyć mapred job zamiast tego) lub mapred job, możesz manipulować tylko zadaniami MapReduce.

Aby zobaczyć status różnych typów aplikacji (mapreduce, iskra itp.), Powinieneś użyć YARN CLI.

Dla np. "aplikacja przędzy -list -appStatuje WSZYSTKIE", wyświetla status wszystkich aplikacji. Dane wyjściowe tego polecenia zawierają kolumnę "Typ aplikacji" który wskazuje typ aplikacji (np. dla MAPREDUCE dla aplikacji MapReduce).

Możesz uzyskać szczegółowe informacje o aplikacji, próbie aplikacji, kontenerach itp. Polecenia dla wersji 2.7.1 Hadoop są podane tutaj: https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YarnCommands.html.

Ale te polecenia nie zwracają szczegółowych informacji, takich jak "Przydzielone procesory VCores" i "Przydzielona pamięć MB", za pośrednictwem interfejsu CLI.

yarn application -status {Application ID} polecenie zwraca "Alokacja zasobów zagregowanych" pod względem "MB-sekundy" i "vcore-seconds"

Dla np. -status dla jednej z moich aplikacji zwróconych:

Aggregate Resource Allocation: 12865641 MB-sekund, 1041 sekund-sekund