Потоковое задание Flink не будет подключаться к localstack s3

Я использую продукт под названием Localstack, чтобы локально имитировать Amazon S3, который служит приемником потоковых файлов. для работы Flink.

В журналах выполнения я вижу, что Flink игнорирует Localstack и пытается связаться с Amazon S3.

Received error response: org.apache.flink.fs.s3base.shaded.com.amazonaws.services.s3.model.AmazonS3Exception: Service Unavailable

Retrying Request: HEAD https://s3.amazonaws.com /testBucket/

В файле flink-conf.yaml я указал следующие свойства конфигурации:

s3.impl: org.apache.hadoop.fs.s3a.S3AFileSystem
s3.buffer.dir: ./tmp                           
s3.endpoint: localhost:4566
s3.path.style.access: true
s3.access-key: ***
s3.secret-key: ***

Почему Флинк может игнорировать s3.endpoint?


person Tantillo    schedule 10.08.2020    source источник


Ответы (1)


Вы почти правы со своей конфигурацией, вам нужно будет добавить http при использовании localstack:

s3.endpoint: http://localhost:4566

и, возможно, попробуйте использовать дополнительные фиктивные секреты в качестве переменных среды:

AWS_ACCESS_KEY_ID=foo
AWS_SECRET_ACCESS_KEY=bar
person AsafG    schedule 02.03.2021