Проблема с индексацией при миграции Spring Data Elastic с 3.x на 4.x

Взгляните на репозиторий, на который вы ссылаетесь на gitter (вы можете добавить ссылку здесь).

Во-первых: аннотация @Field используется для записи сопоставления индекса, а свойство ignoreFields необходимо для разрыва циклических ссылок при построении сопоставления. Он не используется, когда объект записывается в Elasticsearch.

Что происходит, например, с объектами Address и Customer во время записи в Elasticsearch: документ Customer имеет Addresses, поэтому эти адреса преобразуются как вложенные документы, встроенные в документ Customer. Но у Address есть Customer, поэтому при записи адреса Customer встраивается в этот элемент Address, который уже является вложенным документом заказчика.

Я полагаю, что Customers не должны храниться в Address и наоборот. Поэтому вам нужно пометить эти встроенные документы как @org.springframework.data.annotation.Transient, вам не нужна аннотация @Field, поскольку вы не хотите хранить их как свойства в индексе.

Аннотации Джексона больше не используются Spring Data Elasticsearch.

Основная проблема используемого здесь подхода заключается в том, что моделирование исходит из реляционного мира — связывание и объединение различных таблиц с отношениями (один|многие) к {одному|многим), проявляющееся в графе объектов Java с помощью ORM. mapper — используется в хранилище данных на основе документов, в котором эти концепции не используются.

Раньше это работало в вашей предыдущей версии, потому что более старая версия Spring Data Elasticsearch также использовала Джексона, и поэтому эти поля были пропущены при записи, теперь вам нужно добавить аннотацию @Transient, которая является аннотацией Spring Data.

Но я не знаю, как @Transient может мешать Spring Data JPA — еще один момент, показывающий, что не стоит использовать один и тот же класс Java для разных хранилищ.

Вот подход, который мы используем в качестве временной меры, пока мы не перепишем/не найдем лучшее решение. Нельзя использовать отдельные классы для ES, например @P.J.Meisch, так как нам нужно поддерживать большое количество объектов, а программа миграции микросервисов уже выполняется.

Пишу сюда, так как это может быть полезно для кого-то еще с похожей проблемой.

Создал утилиту для сериализации и десериализации объекта, чтобы воспользоваться преимуществами аннотаций Джексона в классе. Пример: @JsonIgnoreProperities, @JsonIgnore и т. д. Таким образом, мы можем сократить использование аннотации @Transient и по-прежнему получать идентификаторы связанных объектов.

package com.sample.shop.service.util;

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.JavaType;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.datatype.hibernate5.Hibernate5Module;

import org.jetbrains.annotations.NotNull;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.List;
import java.util.Optional;

public class ESUtils {

private static final Logger log = LoggerFactory.getLogger(ESUtils.class);

public static <T> Optional<T> mapForES(Class<T> type, T input) {
    ObjectMapper mapper = getObjectMapper();
    try {
        return Optional.ofNullable(mapper.readValue(mapper.writeValueAsString(input), type));
    } catch (JsonProcessingException e) {
        log.error("Parsing exception {} {}", e.getMessage());
        return Optional.empty();
    } 
}

public static <T> List<T> mapListForES(Class<T> type, List<T> input) {
    ObjectMapper mapper = getObjectMapper();
    try {
        JavaType javaType = mapper.getTypeFactory().constructCollectionType(List.class, type);
        String serialText = mapper.writeValueAsString(input);
        return mapper.readValue(serialText, javaType);
    } catch (JsonProcessingException e) {
        log.error("Parsing exception {} {}", e.getMessage());
    } 
}

@NotNull
private static ObjectMapper getObjectMapper() {
    ObjectMapper mapper = new ObjectMapper();
    mapper.configure(SerializationFeature.FAIL_ON_EMPTY_BEANS, false);
    mapper.configure(SerializationFeature.WRITE_SELF_REFERENCES_AS_NULL, true);
    mapper.configure(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES, false);
    Hibernate5Module module = new Hibernate5Module();
    module.disable(Hibernate5Module.Feature.FORCE_LAZY_LOADING);
    module.enable(Hibernate5Module.Feature.SERIALIZE_IDENTIFIER_FOR_LAZY_NOT_LOADED_OBJECTS);
    module.enable(Hibernate5Module.Feature.USE_TRANSIENT_ANNOTATION);
    module.enable(Hibernate5Module.Feature.REPLACE_PERSISTENT_COLLECTIONS);
    return mapper;
    }
}

Затем, чтобы сохранить одну запись, скорректируйте логику сохранения, чтобы использовать указанную выше утилиту, например:

//    categorySearchRepository.save(result); instead of the Jhipster generated code let's use the ESUtils
ESUtils.mapForES(Category.class,category).map(res -> categorySearchRepository.save(res));

И сохранить список для массовой переиндексации с помощью второй утилиты:

Page<T> categoryPage = jpaRepository.findAll(page);
List<T> categoryList = ESUtils.mapListForES(Category.class, categoryPage.getContent());
elasticsearchRepository.saveAll(categoryList);

Возможно, это не лучшее решение, но мы выполнили работу по миграции.