Використання RabbitMQ з Stormcrawler - rabbitmq, веб-сканер, апаш-шторм, штурмовик

Я хочу використовувати RabbitMQ з StormCrawler. Я вже бачив, що є сховище для використання RabbitMQ з Storm: https://github.com/ppat/storm-rabbitmq

Як би ви скористалися цим для StormCrawler? Я хотів би використовувати Виробника, а також споживача.

Для споживача, здається, є деякідокументація. Що з продюсером? Чи можете ви просто помістити записи конфігурації в конфігурацію гусеничного сканера або мені потрібно змінити вихідний код RabbitMQProducer?

Відповіді:

Ви хочете, щоб болт, який надсилає URL-адреси RabbitMQщоб розширити AbstractStatusUpdaterBolt як суперклас робить багато корисних речей під капотом, а це означає, що Ви не використовуєте Продюсера поза коробкою, але вам потрібно буде написати якийсь спеціальний код.

Якщо ви не впевнені, що їх не будекопії URL-адрес, вам потрібно буде дублювати URL-адреси, перш ніж надсилати їх до черг, що можна зробити, наприклад, з Redis у вашому користувальницькому оновленні статусу.