Я шукаю продукт іонізувати і розгортати моїПрограма Kafka Connect. Тим не менш, є два питання, які я маю про встановлення завдань .max, які є необхідними і мають велике значення, але деталі є нечіткими, для чого насправді встановити це значення.
Моє найпростіше запитання: Якщо у мене є тема з n розділів, що я хочу, щоб споживати дані з і писати на деякі раковини (в моєму випадку, я пишу S3), що я повинен встановити tasks.max? Чи повинен я встановити його n? Чи повинен я встановити його на 2n? Інтуїтивно здається, що я хотів би встановити значення n, і це те, що я роблю.
Що робити, якщо я зміню свою тему Kafka і збільшурозділів на тему? Мені доведеться призупинити Kafka Connector і збільшити task.max, якщо я встановлюю n? Якщо я встановив значення 2n, то мій роз'єм повинен автоматично збільшити паралелізм, який він працює?
Спасибі за вашу допомогу!
Відповіді:
11 за відповідь № 1У раковині Kafka Connect завдання є по суті споживчими потоками і отримують розділи для читання. Якщо у вас є 10 розділів і є tasks.max встановлюється на 5, причому кожне завдання отримує 2 розділи для читання і відстеження зсувів. Якщо ви налаштовані tasks.max до числа, що перевищує підрахунок розділів, Connect запустить ряд завдань, рівних розділам тем, які він читає.
Якщо ви зміните кількість розділів теми, вам доведеться відновити завдання підключення, якщо tasks.max все ще перевищує кількість розділів, Connect почне багато завдань.
редагувати, тільки що відкрив ConnectorContext: https://kafka.apache.org/0100/javadoc/org/apache/kafka/connect/connector/ConnectorContext.html
З'єднувач повинен бути записаний, щоб включити це, але схоже, що Connect має можливість переконфігурувати роз'єм, якщо зміна теми (розділи додано / видалено).