Есть ли эффективный/оптимальный способ передачи данных из таблицы BigQuery в Elasticsearch?

У меня есть около 45 ГБ данных в моем BigQuery, которые я хочу передать в Elasticsearch. В настоящее время я извлекаю строки из своей таблицы BigQuery в формате JSON, а затем индексирую их в Elasticsearch. Весь процесс занял около 2 недель. Я просто хотел знать, есть ли лучший и более эффективный способ сделать это.


person Achal Gambhir    schedule 22.06.2020    source источник
comment
45 ГБ - это один файл или фрагмент файла   -  person Thangarajan Pannerselvam    schedule 22.06.2020
comment
Это кусок файла.   -  person Achal Gambhir    schedule 22.06.2020
comment
попробуй использовать генератор   -  person Thangarajan Pannerselvam    schedule 22.06.2020
comment
@ThangarajanPannerselvam Не могли бы вы уточнить это. Я не очень хорошо знаком с генератором.   -  person Achal Gambhir    schedule 22.06.2020
comment
Привет! Я хотел бы попросить вас взглянуть на следующую тему в Stackoverflow: stackoverflow.com/questions/39252484/, где вы можете найти различные сценарии. Дайте мне знать, достаточно ли этого для ваших нужд.   -  person Ines    schedule 26.06.2020