В настоящее время я работаю над очень интересным проектом ETL с использованием Azure для преобразования моих данных вручную. Однако преобразование данных вручную может быть утомительным и длительным, когда у меня появляется несколько исходных файлов для обработки. Мой конвейер сейчас работает нормально, потому что мне нужно преобразовать всего несколько файлов, но что, если у меня есть тысячи файлов Excel?
Итак, чего я хочу добиться, так это того, что я хочу расширить проект и извлечь файлы Excel, поступающие из электронной почты, с помощью приложения логики, а затем применить ETL непосредственно поверх них. Есть ли способ автоматизировать ETL в Azure. Могу ли я выполнить ETL, не изменяя конвейер для другого типа данных вручную? Как сделать мой конвейер гибким, чтобы иметь возможность обрабатывать преобразование данных для различных типов исходных данных?
Спасибо заранее за вашу помощь.
