/ / Як широкомасштабно працювати з іскрою? - приєднатися, apache-spark

Як BroadcastHashJoin екзактивно працює в іскрі? - приєднуйтесь, апаче-іскрі

Я намагаюся зрозуміти, якbroadcastHashJoin виконується. Я знаю, що маленька таблиця посилає трансляцію на весь вузол, але наступний результат відправляється назад водію? Я використовую іскровий інтерфейс для визначення того, як керується мережевий трафік, але не отримую відповідного результату, а результат драйвера завжди пустий: Spark ui Чому я не можу бачити трафік до водія?

Відповіді:

3 для відповіді № 1
  1. Відношення, яке має транслюватися збирається водієві
  2. Зібрані відносини хеш локально
  3. Раніше використовувалося hashed-співвідношення створювати змінну трансляції
  4. Використовується трансляційне співвідношення для обчислення об'єднання паралельно

Відсутні дані з драйвера, які ви бачите, швидше за все, відповідають хеш-частині, яка не виконується всередині завдання і не створює корисних показників.