Ist es möglich, die Ergebnisse einer ElasticSearch-Aggregation wieder in den Index zu bringen? - elasticsearch, elasticsearch-aggregation

Also habe ich einen Index mit Ping-Daten von Host A zu Host B und meine Daten sehen so aus:

{
"@version" => "1",
"@timestamp" => "2014-07-17T21:17:34.030Z",
"host" => "host_a",
"to_host" => "host_b",
"value" => "25.6",
"from_host" => "host_a",
"stat_type" => "ping"
}

Das Ziel besteht darin, auch 90-Perzentil-Daten für den Wert des Pings ("Wert" in dem Obigen) auf einem sich bewegenden Fenster, z.B. Letzte Stunde, letzter Tag usw.

Ich weiß, dass ich das mit einer Aggregation machen kann, aber meine Frage lautet wie folgt:

Unterstützt ElasticSearch eine Möglichkeit, die Ausgabe einer Aggregation (oder einer entsprechenden Abfrage) automatisch in den Index einzufügen?

Ich weiß, dass ich wahrscheinlich nur die Ausgabe nehmen, die Felder optimieren und dann die Daten mithilfe einiger Hilfsanwendungen wieder einlesen konnte, aber ich war neugierig, ob dies nur mit ES möglich ist.

Um ein äquivalentes SQL-Beispiel zu verwenden, würde ich in etwa so aussehen:

create table agg
select id, count(*) as counts
from data
group by id;

Antworten:

Vielleicht ein bisschen von dem, was Sie suchen, aber Sie könnten dies mit Logstash tun, die ein Teil von Elasticsearch ist http://www.elasticsearch.com/blog/welcome-jordan-logstash/ .

Ich werde hier nicht ins Detail gehen (es gibt(viele Logstash-Tutorials), aber die Ergebnisse Ihrer Aggregationsabfrage an eine Logdatei anzuhängen und logstash automatisch die Ergebnisse zu übernehmen und sie in einen Elasticsearch-Index zu laden, ist ziemlich trivial. Dieses Tutorial behandelt alles, was Sie benötigen, um logstash aus einer Protokolldatei zu lesen und den Inhalt automatisch zu indizieren:

http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash

Sie könnten dies natürlich in Code tun, aber die meiste Arbeit hier ist erledigt, sobald Sie Logstash Setup haben, müssen Sie nur noch Ihre Ergebnisse an die Log-Datei anhängen.