Массовый импорт Neo4j для Windows

Я запускаю Neo4j 2.0.2 на сервере Windows 2012, и мне нужно быстро (в день) импортировать сотни миллионов узлов/отношений. Существуют ли какие-либо инструменты или процессы массового импорта, которые можно использовать в Windows? Я попытался загрузить несколько операторов создания, используя метод электронной таблицы, обсуждаемый на сайте Neo4j, но обнаружил, что операторы просто зависают, если я пытаюсь запустить более 1000 операторов за раз.


windows bulkinsert neo4j bulk-load
person Gary Griggs    schedule 25.04.2014    source источник
comment
Вы делаете новую загрузку каждый день или добавляете сотни миллионов узлов/отношений каждый день?   -  person Kenny Bastani    schedule 26.04.2014
comment
Это новая загрузка для создания примера базы данных, чтобы я мог доказать некоторые варианты использования. Забегая вперед, я вижу, что массовый загрузчик полезен для начального заполнения базы данных, но не ожидайте, что он будет выполнять эти типы загрузок регулярно.   -  person Gary Griggs    schedule 26.04.2014

Ответы (1)


arrow_upward
0
arrow_downward

Для высокопроизводительного заполнения исходных данных лучше всего использовать модуль пакетной вставки. Для этого требуется либо программирование на Java, либо использование инструмента @mesiiri для запуска средства пакетной вставки непосредственно в CSV-файлы.

Также не забудьте прочитать его отличный пост в блоге на http://jexp.de/blog/2013/05/on-importing-data-in-neo4j-blog-series/

person Stefan Armbruster    schedule 26.04.2014
comment
Инструмент @mesiiri — это именно то, что я ищу. Где вы запускаете код? - person Gary Griggs; 26.04.2014
comment
batch-import требует запуска java и maven. Он генерирует для вас содержимое каталога graph-db. Когда вы закончите, вы можете запустить свой сервер neo4j на основе этого каталога. - person Stefan Armbruster; 26.04.2014
comment
Я скачал мавен. Должны ли файлы массового импорта находиться в каталоге maven? Их пример строки выполнения: mvn clean compile exec:java -Dexec.mainClass=org.neo4j.batchimport.Importer -Dexec.args=neo4j/data/graph.db nodes.csv rels.csv Для этого вам нужно быть на командная строка в каталоге maven? Если это так, файлы csv также должны находиться в том же каталоге? Я ценю вашу помощь в этом. - person Gary Griggs; 27.04.2014
comment
Нет необходимости извлекать массовый импортер внутри каталога maven. Поместите его где-нибудь локально, откройте консоль для этого каталога и выполните команду mvn. Для CSV-файлов вы также можете указать пути. - person Stefan Armbruster; 27.04.2014