Невозможно получить сопоставление. У вас есть индексы, соответствующие шаблону?

Я пытался исправить указанную ниже проблему, но безуспешно (Logstash 2.1, Elasticsearch 2.1, Kibana 4.3.1)

Это мой файл logstash.conf

input {
  file {
    path => ["/var/log/network.log"]
    start_position => "beginning"
    type => "syslog"
    tags => [ "netsyslog" ]
  }
} #end input block
########################################
filter {
  if [type] == "syslog" {
    # Split the syslog part and Cisco tag out of the message
    grok {
      match => ["message", "%{CISCO_TAGGED_SYSLOG} %{GREEDYDATA:cisco_message}"]
    }
    # Parse the syslog severity and facility
    #syslog_pri { }

    # Parse the date from the "timestamp" field to the "@timestamp" field
    # 2015-05-01T00:00:00+02:00 is ISO8601
    grok {
      match => ["message", "%{TIMESTAMP_ISO8601:timestamp}"]
    }

 date {
      #2015-05-01T00:00:00+03:00
      match => ["timestamp",
        "yyyy-MM-dd'T'HH:mm:ssZ"
#        "yyyy MM dd HH:mm:ss",
        ]
      #timezone => "Asia/Kuwait"
      }

    # Clean up redundant fields if parsing was successful
    if "_grokparsefailure" not in [tags] {
          mutate {
        rename => ["cisco_message", "message"]
        remove_field => ["timestamp"]
      }
    }

    # Extract fields from the each of the detailed message types
    grok {
      match => [
        "message", "%{CISCOFW106001}",
        "message", "%{CISCOFW106006_106007_106010}",
        "message", "%{CISCOFW106014}",
        "message", "%{CISCOFW106015}",
        "message", "%{CISCOFW106021}",
        "message", "%{CISCOFW106023}",
        "message", "%{CISCOFW106100}",
        "message", "%{CISCOFW110002}",
        "message", "%{CISCOFW302010}",
        "message", "%{CISCOFW302013_302014_302015_302016}",
        "message", "%{CISCOFW302020_302021}",
        "message", "%{CISCOFW305011}",
        "message", "%{CISCOFW313001_313004_313008}",
        "message", "%{CISCOFW313005}",
        "message", "%{CISCOFW402117}",
        "message", "%{CISCOFW402119}",
        "message", "%{CISCOFW419001}",
        "message", "%{CISCOFW419002}",
        "message", "%{CISCOFW500004}",
        "message", "%{CISCOFW602303_602304}",
        "message", "%{CISCOFW710001_710002_710003_710005_710006}",
        "message", "%{CISCOFW713172}",
        "message", "%{CISCOFW733100}"
      ]
    }
  }

  if [dst_ip] and [dst_ip] !~ "(^127\.0\.0\.1)|(^10\.)|(^172\.1[6-9]\.)|(^172\.2[0-9]\.)|(^172\.3[0-1]\.)|(^192\.168\.)|(^169\.254\.)" {
  geoip {
    source => "dst_ip"
    database => "/opt/logstash/vendor/GeoLiteCity.dat" ### Change me to location of GeoLiteCity.dat file
    target => "dst_geoip"
  }
  }

  if [src_ip] and [src_ip] !~ "(^127\.0\.0\.1)|(^10\.)|(^172\.1[6-9]\.)|(^172\.2[0-9]\.)|(^172\.3[0-1]\.)|(^192\.168\.)|(^169\.254\.)" {
  geoip {
    source => "src_ip"
    database => "/opt/logstash/vendor/GeoLiteCity.dat" ### Change me to location of GeoLiteCity.dat file
    target => "src_geoip"
  }
  }
  mutate {
    convert => [ "[src_geoip][coordinates]", "float" ]
  }  
}
########################################
output {
  stdout { codec => rubydebug }
  elasticsearch {

    hosts => "localhost"
    template => "/opt/logstash/elasticsearch-template.json"
    template_overwrite => true
  }
} #end output block

Когда я просматриваю файл logstash.conf, я вижу, что он разбирается. Однако когда я запускаю curl 'localhost: 9200 / _cat / index? V', я получаю, что есть только .kibana. При загрузке интерфейса Kibana отображается сообщение «Невозможно получить отображение». У вас есть индексы, соответствующие шаблону?

Любая помощь будет оценена по достоинству.

Заранее спасибо.


person Potta Pitot    schedule 02.02.2016    source источник
comment
Если у вас нет создаваемых индексов, проверьте журналы logstash и elasticsearch. Например, несоответствие сопоставления приведет к потере документов.   -  person Alain Collins    schedule 02.02.2016
comment
да ты прав. Я получаю указанную ниже ошибку в записях. type = ›syslog, _id =› nil, status = ›400, error =› {type = ›mapper_parsing_exception, reason =› Не удалось проанализировать сопоставление [_default]: определение сопоставления для [SourceGeo] не поддерживается параметры: [path: full] ,hibited_by = ›{type =› mapper_parsing_exception, reason = ›Определение сопоставления для [SourceGeo] имеет неподдерживаемые параметры: [path: full]}}}},: level =›: warn}   -  person Potta Pitot    schedule 02.02.2016
comment
Проверьте свое отображение / шаблон на предмет определения SourceGeo.   -  person Alain Collins    schedule 02.02.2016
comment
@AlainCollins Спасибо, что исправили. Можете ли вы добавить его в качестве ответа, чтобы я мог отметить его как ответ.   -  person Potta Pitot    schedule 03.02.2016


Ответы (1)


Первоначальная рекомендация отладки - проверить журналы logstash и elasticsearch. Если у вас есть конфликт сопоставления, elasticsearch регистрирует его и помогает сузить его.

person Alain Collins    schedule 03.02.2016