¿Puedo usar Kibana para analizar el campo del mensaje? Elasticsearch, logstash, kibana

Estamos usando ELK y metiendo todos los syslogs en Elasticsearch.

Tengo un tipo de registro cuyo campo de mensaje parece:

"message":"11/04/2016 12:04:09 PM|There are now 8 active connections#015"

Me gustaría usar Kibana para analizar el mensaje para obtener el número de conexiones activas en el tiempo y luego graficar eso en Kibana.

¿Estoy pensando en cómo hacer esto correctamente? La lectura que he hecho parece indicarme que configure un filtro en Logstash ... pero parece ser el lugar equivocado para analizar el campo de mensaje para este tipo de línea de registro único, dada la cantidad de mensajes / registros y mensaje / Los tipos de registro se envían a través de Logstash.

¿Hay una manera de analizar el campo de mensaje para este número y luego graficar el conteo a lo largo del tiempo en Kibana?

Respuestas

Kibana no está destinado a hacer este tipo de análisis. Hay algunas opciones que puedes usar:

1. Podrías escribir un analizador que analice esta cadena. Puede ser Hecho, pero no lo haría así.
2. Usa logstash, pero ya lo has sugerido. Si tu sientes el almacenamiento de registros es demasiado pesado y tiene una opción para la versión a usar, Ir a la opción tres.
3. Use ingest, esta es una nueva característica de elasticsearch. Esto es una especie de un logstash ligero que viene preembalado con elástico, que Soporta patrones con grok que pueden hacer esto.