スパークストリーミングの解析ログ - 解析、apache-kafka、スパークストリーミング

私はWebを読むことができるシステムを作り出すつもりです。リアルタイムでログインし、それらを処理するためにapacheスパークを使用します。私は統計を集計するためにスパークストリーミングにログを渡すためにログを渡すためにkafkaを使うことを計画しています。 spark script、kafka、他のどこか...）誰かが私を案内してくれるなら私は感謝するでしょう。それは私にとって新しいことのようなものです。乾杯

回答：

Apache Kafkaは分散pub-subメッセージングですシステム。それはそれのためではないデータを解析または変換する方法を提供しません。しかし、Kafkaのコンシューマは、Kafkaに公開されたデータを処理、解析、または変換して、変換されたデータを別のトピックに再公開したり、データベースまたはファイルシステムに保存したりできます。

Kafkaからのデータを消費する方法はたくさんあります。1つは、リアルタイムストリームプロセッサ（apache flume、apache-spark、apache stormなど）です。

だから答えはノーです、Kafkaは生データを解析する方法を提供していません。生データを以下のように変換/解析することができます。 スパーク しかし同様にあなたは多くの人がいるのであなた自身の消費者を書くことができます Kafkaクライアントポート または他の建造消費者を使用する アパッチフルーム, Apacheの嵐等