Сортировка ElasticSearch с помощью (безболезненного) скрипта — значения массива загадочным образом дедуплицируются

Я PUTпросматриваю следующий документ в ElasticSearch:

{
    "_rootId": "327d3aba-4f7c-4abb-9ff3-b1608c354c7c",
    "_docId": "ID_3",
    "_ver": 0,
    "val_labels": [
        "x1",
        "x1",
        "x1"
    ]
}

Затем я GET выполняю следующий запрос, использующий painless скрипт для сортировки:

{
    "query": {
        "bool": {
            "must": [
                {
                    "term": {
                        "_rootId": "77394e08-32be-4611-bbf7-818dfe4bc853"
                    }
                }
            ]
        }
    },
    "sort": [
        {
            "_script": {
                "order": "desc",
                "type": "string",
                "script": {
                    "lang": "painless",
                    "source": "return doc['val_labels'].toString()"
                }
            }
        }
    ]
}

И вот ответ, который я получаю:

{
    "took": 30,
    "timed_out": false,
    "_shards": {
        "total": 12,
        "successful": 12,
        "skipped": 0,
        "failed": 0
    },
    "hits": {
        "total": 1,
        "max_score": null,
        "hits": [
            {
                "_index": "my-index",
                "_type": "views",
                "_id": "77394e08-32be-4611-bbf7-818dfe4bc853.ID_3",
                "_score": null,
                "_source": {
                    "_rootId": "77394e08-32be-4611-bbf7-818dfe4bc853",
                    "_docId": "ID_3",
                    "_ver": 0,
                    "val_labels": [
                        "x1",
                        "x1",
                        "x1"
                    ]
                },
                "sort": [
                    "[x1]"
                ]
            }
        ]
    }
}

Странно то, что поле val_labels в ответе показывает ["x1", "x1", "x1"] (как и ожидалось, см. вставленный объект), тогда как поле sort показывает только одно значение x1.

Есть ли какое-то объяснение этому?


elasticsearch elasticsearch-painless
person Itay Maman    schedule 02.06.2019    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Поле _source в результате представляет собой исходный неизмененный документ, тогда как сценарий сортировки обращается к значения документа doc['val_labels'], которые являются обрабатываемыми полями. Это можно отладить, выбрав docvalue_fields явно:

{
    "query": {
        "match_all": {}
    },
    "docvalue_fields": [
      "val_labels"
    ]
}

что дает следующий хит (я проиндексировал только один документ)

{
  "hits": [
    {
      "_index": "test",
      "_type": "_doc",
      "_id": "ID_3",
      "_score": 1,
      "_source": {
        "val_labels": [
          "x1",
          "x1",
          "x1"
        ]
      },
      "fields": {
        "val_labels": [
          "x1"
        ]
      }
    }
  ]
}

Обратите внимание на дедуплицированные значения в результате. Это связано с тем, что несколько одинаковых значений приводят к увеличению частот терминов.

GET /test/_doc/ID_3/_termvectors?fields=val_labels
{
  "term_vectors": {
    "val_labels": {
      "field_statistics": {
        "sum_doc_freq": 1,
        "doc_count": 1,
        "sum_ttf": -1
      },
      "terms": {
        "x1": {
          "term_freq": 3,
          "tokens": [
            {
              "position": 0,
              "start_offset": 0,
              "end_offset": 2
            },
            {
              "position": 1,
              "start_offset": 3,
              "end_offset": 5
            },
            {
              "position": 2,
              "start_offset": 6,
              "end_offset": 8
            }
          ]
        }
      }
    }
  }
}
person ollik1    schedule 02.06.2019