У меня есть фоновая служба, которая создает файлы в Google Cloud Storage. Как только это будет сделано, в выходной папке будет создан файл.
В моем потоке мне нужно получить список этих файлов и запустить задание DataProc Spark со списком файлов. Обработка не в режиме реального времени и занимает десятки минут.
В GCS есть система уведомлений. Он может передавать уведомление в службу Pub / Sub.
В GCS будет создан файл .../feature/***/***.done для идентификации завершения служебного задания.
- Могу ли я подписаться на новые файлы в GCS по шаблону?
После создания файла уведомление попадает в службу Pub / Sub.
Я считаю, что могу написать облачную функцию, которая будет читать это уведомление, каким-то волшебством получит местоположение измененного файла и сможет перечислить все файлы из этой папки. Затем опубликуйте еще одно сообщение в Pub / Sub со всей необходимой информацией.
- Возможно ли запустить задание DataProc с помощью уведомления Pub / Sub?
В идеале было бы здорово использовать Jobs вместо Streaming, чтобы сократить расходы. Это может означать, что PubSub инициирует задание вместо потоковой передачи. Задание извлекает новое сообщение из PubSub.
