Загрузка 9M строк из Neo4j и запись их в CSV вызывает исключение из памяти.

Хотя Neo4j будет передавать вам результаты по мере их совпадения, при использовании SDN он должен собирать выходные данные в один объект @QueryResult. Чтобы избежать проблем с OOM, вам необходимо либо убедиться, что ваше приложение имеет достаточно памяти кучи, доступной для загрузки всех 9-метровых ответов, либо использовать оболочку neo4j, либо использовать специальный потоковый интерфейс, такой как https://www.npmjs.com/package/cypher-stream. (caveat emptor: я не пробовал, но похоже, что это должно помочь)

Ваши настройки конфигурации неверны для Neo4j 3.0.1

вам нужно установить кучу в conf / neo4j-wrapper.conf, например 8G

и page-cache в conf / neo4j.conf (глядя на ваш магазин, вам нужно только 2G для page-cache).

Также, как вы можете видеть, он создаст более 8 миллионов строк.

Возможно, вам повезет больше с этим запросом:

Match (u:USER)-[:PURCHASED]->(:ORDER)-[:HAS]->(i:ITEM) 
with distinct u,i
return u.id as userId,i.product_number as itemId

Также нет смысла возвращать 8M строк в neoj-shell, если честно. Если вы хотите измерить его, замените RETURN на WITH и добавьте RETURN count(*)

Match (u:USER)-[r:PURCHASED]->(o:ORDER)-[h:HAS]->(i:ITEM) 
with distinct u,i
WITH u.id as userId,i.product_number as itemId
RETURN count(*)

Другая оптимизация может заключаться в том, чтобы пройти через элемент и пользователя и выполнить хеш-соединение посередине для глобального запроса, например:

Match (u:USER)-[:PURCHASED]->(o:ORDER)-[:HAS]->(i:ITEM) 
USING JOIN ON o
with distinct u,i
WITH u.id as userId,i.product_number as itemId
RETURN count(*)

Еще одна вещь, которую я, вероятно, сделал бы, чтобы уменьшить количество возвращаемых результатов, - это попытаться агрегировать.

Match (u:USER)-[:PURCHASED]->(o:ORDER)-[:HAS]->(i:ITEM)
with distinct u,i
WITH u, collect(distinct i) as products
WITH u.id as userId,[i in products | i.product_number] as items
RETURN count(*)

Благодаря комментариям Винса и Майкла я нашел решение! Проведя несколько экспериментов, выяснилось, что время отклика сервера на самом деле хорошее! 1,5 минуты на 9 миллионов данных! Проблема связана с SDN, как упоминал Винс! OOM происходит, когда SDN пытается преобразовать данные в объект @QueryResult. Увеличение памяти кучи для нашего приложения не является постоянным решением, так как в будущем у нас будет больше строк! Поэтому мы решили использовать neo4j-jdbc-driver для запросов больших данных ... и он работает как самолет! Вот пример кода, который мы использовали:

Class.forName("org.neo4j.jdbc.Driver");
    try (Connection con = DriverManager.getConnection("jdbc:neo4j:bolt://HOST:PORT", "USER", "PASSWORD")) {

        // Querying
        String query = "match (u:USER)-[r:PURCHASED]->(o:ORDER)-[h:HAS]->(i:ITEM) return u.id as userId,i.product_number as itemId";
        con.setAutoCommit(false); // important for large dataset
        Statement st = con.createStatement();
        st.setFetchSize(50);// important for large dataset

            try (ResultSet rs = st.executeQuery(query)) {
                while (rs.next()) {
                    writer.write(rs.getInt("userId") + ","+rs.getInt("itemId"));
                    writer.newLine();
                }

            }

        st.setFetchSize(0);
        writer.close();
        st.close();

    }

Просто убедитесь, что вы используете con.setAutoCommit (false); и st.setFetchSize (50), если знаете, что собираетесь загрузить большой набор данных. Спасибо всем !