Generalidades de manejo de logs
-
Upload
marvin-xuya -
Category
Software
-
view
430 -
download
3
description
Transcript of Generalidades de manejo de logs
Generalidades de manejo de logs
José Marvin Xuya
¿Dónde se originan?
Logstash-forwarder(Lumberjack)
Centralizador local de logs para ser procesados en otro lugar.
https://github.com/elasticsearch/logstash-forwarder
Logstash-forwarder(Lumberjack)
{
"network": {
"servers": [" servidor:1234"],
"ssl certificate": "/path/logstash-forwarder.crt",
"ssl key": "/path/logstash-forwarder.key"
},
"files": [
{
"paths": [ "/path/logfile.log"],
"fields": { "type": “rubylogs",
"app": "my_application" }
}
]
}
Logstash
Centraliza logs y otros eventos de nuestros servidores a una ubicación donde podamos almacenarlos para poder analizarlos.
Logstash
Input: mecanismos para el paso de información.
lumberjack, syslog (RFTC3164 format), file.
Filter: proceso intermedio.
drop (ej - debug ), grok (estructuración), geoip (Info. geográfica)
Output: fase final, guardar la información.
elasticsearch, file, graphite.
Logstash
input {
lumberjack {
port => 1234
certificate => "/path/logstash-forwarder.crt"
key => "/path/logstash-forwarder.key"
}
}
filter {
if [app] == "my_application" {
grok {
match => [ "message", "%{RUBY_LOGLEVEL:loglevel}" ]
}
}
}
output{
stdout { }
elasticsearch {
cluster => "log_data"
index => "my_app-%{+YYYY.MM.dd.HH}"
index_type => "my_application"
}
}
Permite almacenar, buscar y analizar grandes volúmenes de datos de forma rápida y en tiempo casi real.
Utilizado fundamentalmente como el motor de aplicaciones de búsqueda y aplicaciones con requisitos complejos.
Hecho en Java, permite agregar la funcionalidad de busqueda a aplicaciones o sitios web.
Su fuente de contenido puede ser de bases de datos SQL o NoSQL, archivos de sistema o bien sitios web.
Permite la ejecución de consultas a indices.
• Escalable.• Motor analítico • Motor de búsqueda de texto
• Cluster: • Se compone de nodos. • Nodos maestro e hijos.
• Nodo:• Instancia.• Uno por servidor• Descubrimiento y unión a cluster con su mismo nombre.
• Índice:• Visto desde el punto de vista de una base de datos
relacional es una base de datos.
• Shard (fragmento):• Instancia de Lucene (nivel bajo).• Manejado automáticamente por elasticsearch.
• Shard primario:• Almacena los documentos.• Un índice por defecto tiene 5 shards primarios.• No pueden modificarse una vez son definidos.
• Shard copia (replica):• Back-up.• Un shard secundario puede pasar a ser primario de forma
automática.• Manejo dinámico en un índice.
• Starter Pack.• Query string query:
{ "query_string" : { "default_field" : "content", "query" : "this AND that OR thus" }}
Elaborado principalmente para el análisis de logs, es un buscador analítico e interfaz de búsqueda para Elasticsearch.
Interacción
Logstash se utilizar para recolectar los logs, convertirlos en formato json y almacenarlos en un cluster de Elasticsearch.
Kibana es la interfaz final para el despliegue de la información almacenada en los clusters de Elasticsearch.
Referencias
http://semicomplete.com/presentations/logstash-puppetconf-2012/
http://logstash.net/
https://github.com/elasticsearch/logstash-forwarder
http://www.elasticsearch.org/
https://wikitech.wikimedia.org
Gracias por su atención