W środowisku klastra z iskrami możliwe było uruchomienie tylko jednego procesu - iskry apache, zasoby, przetwarzanie klastrowe, przędza, przetwarzanie rozproszone

Skonfigurowałem środowisko klastra świecowego, Spark (2.2.0) jest w Windows 7; zestaw przędzy to hadoop 2.7.3.

Używam SparkSQL "spark-shell":

spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip

Teraz wszystko jest już w porządku, ale kiedy zaczynam kolejną "iskrową powłokę", poniższy komunikat wydaje się nigdy kończyć się na konsoli:

17/10/17 17:33:53 INFO Client: Application report for application_1508232101640_0003 (state: ACCEPTED)

Wyświetlony zostanie status aplikacji w interfejsie WWW ResourceManager

[application status] ACCEPTED: waiting for AM container to be allocated, launched and register with RM

Jeśli zamknę pierwszą "iskrą skorupową", druga dobrze się sprawdzi.

Wygląda na to, że nie pozwala to na wielokrotne iskrzenie (iskiernik) w tym samym czasie (w moim środowisku).

Jak przełamać ograniczenie?

Odpowiedzi:

oczekiwanie na przydzielenie kontenera AM

Jest to ograniczenie ilościowe, więc możesz sprawić, że pierwszy jb zużyje mniej zasobów.

To, co się dzieje, to to, że pierwsza praca pochłania wszystkodostępne zasoby, a gdy nadejdzie druga praca, nic nie jest wolne "d, dlatego druga praca musi czekać na dostępność zasobów.

Dlatego po zamknięciu pierwszej powłoki uruchomi się druga.