Как создать подзапрос с elasticsearch

Мне нужно создать запрос на elasticsearch для условия ниже.

Когда последний элемент, добавленный с атрибутом «rabbitmq.queue.name», равен «service_test_error», а значение из «rabbitmq.queue.messages.total.count» отличается от «0»

Приведенный ниже запрос sql работает для моего поиска, но я не мог выполнить тот же запрос с elasticsearch

select * from metric where rabbitmq.queue.messages.total.count != '0' and rabbitmq.queue.name = 'service_test_error' and timestamp = (select max(timestamp) from metric where rabbitmq.queue.name = 'service_test_error')

Эти записи ниже являются примерами, которые существуют в моем индексе metric-xpto.

[
  {
    "_index": "metric-xpto",
    "_type": "_doc",
    "_id": "jYP1WnEBmYyEo7K68Zme",
    "_version": 1,
    "_score": null,
    "_source": {
      "@timestamp": "2020-04-08T18:03:14.899Z",
      "rabbitmq": {
        "queue": {
          "name": "service_test_error",
          "messages": {
            "total": {
              "count": 0
            }
          }
        }
      }
    }
  },
  {
    "_index": "metric-xpto",
    "_type": "_doc",
    "_id": "jYP1WnEBmYyEo7K68Zme",
    "_version": 1,
    "_score": null,
    "_source": {
      "@timestamp": "2020-04-07T18:03:14.899Z",
      "rabbitmq": {
        "queue": {
          "name": "service_test_error",
          "messages": {
            "total": {
              "count": 3
            }
          }
        }
      }
    }
  },
  {
    "_index": "metric-xpto",
    "_type": "_doc",
    "_id": "jYP1WnEBmYyEo7K68Zme",
    "_version": 1,
    "_score": null,
    "_source": {
      "@timestamp": "2020-04-03T17:03:14.899Z",
      "rabbitmq": {
        "queue": {
          "name": "service_alpha_test_error",
          "messages": {
            "total": {
              "count": 8
            }
          }
        }
      }
    }
  },
  {
    "_index": "metric-xpto",
    "_type": "_doc",
    "_id": "jYP1WnEBmYyEo7K68Zme",
    "_version": 1,
    "_score": null,
    "_source": {
      "@timestamp": "2020-04-03T18:03:14.899Z",
      "rabbitmq": {
        "queue": {
          "name": "service_test_error",
          "messages": {
            "total": {
              "count": 8
            }
          }
        }
      }
    }
  }
]

Как я могу создать аналогичный запрос с помощью elasticsearch?


database elastic-stack kibana elasticsearch elasticsearch-dsl
person kellow    schedule 12.05.2020    source источник
comment
Это невозможно сделать в одном запросе. Сначала вам нужно получить максимальное значение временной метки, а затем отфильтровать документы, используя это значение временной метки.   -  person jaspreet chahal    schedule 12.05.2020
comment
Привет, этот запрос используется для запуска оповещения через плагин elasticserach. Поэтому мне нужно выполнить полный запрос на elasticsearch. К сожалению, я не могу сделать второй фильтр на языке программирования.   -  person kellow    schedule 12.05.2020
comment
Ваша цель - получить 1 верхний документ, в котором rabbitmq.queue.name = 'service_test_error' упорядочено по метке времени или документам, где метка времени совпадает с максимальной меткой времени 'service_test_error', а queue.name может быть любым?   -  person jaspreet chahal    schedule 13.05.2020
comment
Моя цель - получить самую последнюю запись, вставленную с помощью rabbitmq.queue.name = 'service_test_error' (независимо от того, заказана ли она по метке времени desc или получена максимальная метка времени), но во второй момент мне нужно проверить, содержит ли этот согласованный документ rabbitmq.queue.messages. total.count! = '0'. Учитывая эти условия, окончательный результат запроса должен сказать мне, есть ли возврат или нет.   -  person kellow    schedule 13.05.2020

Ответы (1)


arrow_upward
1
arrow_downward

В части запроса вы можете получить только самую верхнюю запись, а затем проверить, что на стороне клиента должно быть количество сообщений.

В агрегированной части это можно сделать.

{
  "size": 0,
  "query": {
    "term": {
      "rabbitmq.queue.name.keyword": {
        "value": "service_test_error"
      }
    }
  },
  "aggs": {
    "date": {
      "terms": {
        "field": "@timestamp",
        "size": 1,
        "order": {
          "_term": "desc"
        }
      },
      "aggs": {
        "message_count": {
          "terms": {
            "field": "rabbitmq.queue.messages.total.count",
            "size": 10
          },
          "aggs": {
            "filter_count": {
              "bucket_selector": {
                "buckets_path": {
                  "key": "_key"
                },
                "script": "if(params.key>0) return true; else return false;"
              }
            }
          }
        },
        "select_timestamp": {
          "bucket_selector": {
            "buckets_path": {
              "key": "message_count._bucket_count"
            },
            "script": "if(params.key>0) return true;else false;"
          }
        }
      }
    }
  }
}

Результат. Если количество сообщений в самых верхних записях равно нулю, сегменты будут пустыми, иначе будут данные

 "hits" : {
    "total" : {
      "value" : 7,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  },
  "aggregations" : {
    "date" : {
      "doc_count_error_upper_bound" : 0,
      "sum_other_doc_count" : 6,
      "buckets" : [ ]
    }
  }

В эластичном поиске нет объединений, поэтому в запросе невозможно сравнить один документ с другим.

person jaspreet chahal    schedule 14.05.2020
comment
@kellow рад мог помочь - person jaspreet chahal; 31.05.2020