У меня есть около 45 ГБ данных в моем BigQuery, которые я хочу передать в Elasticsearch. В настоящее время я извлекаю строки из своей таблицы BigQuery в формате JSON, а затем индексирую их в Elasticsearch. Весь процесс занял около 2 недель. Я просто хотел знать, есть ли лучший и более эффективный способ сделать это.
Есть ли эффективный/оптимальный способ передачи данных из таблицы BigQuery в Elasticsearch?
comment
45 ГБ - это один файл или фрагмент файла
- person Thangarajan Pannerselvam   schedule 22.06.2020
comment
Это кусок файла.
- person Achal Gambhir   schedule 22.06.2020
comment
попробуй использовать генератор
- person Thangarajan Pannerselvam   schedule 22.06.2020
comment
@ThangarajanPannerselvam Не могли бы вы уточнить это. Я не очень хорошо знаком с генератором.
- person Achal Gambhir   schedule 22.06.2020
comment
Привет! Я хотел бы попросить вас взглянуть на следующую тему в Stackoverflow: stackoverflow.com/questions/39252484/, где вы можете найти различные сценарии. Дайте мне знать, достаточно ли этого для ваших нужд.
- person Ines   schedule 26.06.2020