един изпълнител работи много по-дълго от всички останали в искра стрийминг задача - apache-spark, apache-kafka, искра стрийминг

Интегрирам искра с кафка, на един от етапите един изпълнител работи много по-бавно от другия.

можете да намерите в картинката, h10.zw работи 2.6 минути, а "задачата" е 52мин, което е много по-дълго от другите изпълнители. Но размерът на размерите на разбъркания размер / разбъркването е същият като другите.

Чудя се какво е "задача време"? Какво прави изпълнителят на h10.zw? Как да се балансира времето за изпълнение на всички изпълнители, за да се избегне времето кос?

Отговори:

Това може, в зависимост от вашата точна обработка, да се дължи на изкривяват данните, Опитвам спекулативно изпълнение и да промените разделянето си по-малки дялове, Това би трябвало да помогне да се определи дали това е така.