Spring Batch — Чтение файлов из Aws S3

Обновление Чтобы использовать Spring-cloud-AWS, вы по-прежнему будете использовать FlatFileItemReader, но теперь вам не нужно создавать собственный расширенный ресурс.

Вместо этого вы настраиваете aws-контекст и передаете ему свой компонент S3Client.

    <aws-context:context-resource-loader amazon-s3="amazonS3Client"/>

Читатель будет настроен так же, как и любой другой читатель - единственное, что здесь уникально, это то, что вы теперь автоматически подключаете свой ResourceLoader

@Autowired
private ResourceLoader resourceLoader;

а затем установите этот загрузчик ресурсов:

@Bean
public FlatFileItemReader<Map<String, Object>> AwsItemReader() {
    FlatFileItemReader<Map<String, Object>> reader = new FlatFileItemReader<>();
    reader.setLineMapper(new JsonLineMapper());
    reader.setRecordSeparatorPolicy(new JsonRecordSeparatorPolicy());
    reader.setResource(resourceLoader.getResource("s3://" + amazonS3Bucket + "/" + file));
    return reader;
}

Я бы использовал FlatFileItemReader, и необходимая настройка заключается в создании собственного объекта S3 Resource. Расширьте Spring AbstractResource, чтобы создать собственный ресурс AWS, содержащий информацию о клиенте AmazonS3, корзине, пути к файлу и т. д.

Для getInputStream используйте Java SDK:

        S3Object object = s3Client.getObject(new GetObjectRequest(bucket, awsFilePath));
        return object.getObjectContent();

Затем для contentLength -

return s3Client.getObjectMetadata(bucket, awsFilePath).getContentLength();

и последнее модифицированное использование

.getLastModified().getTime();

Созданный вами ресурс будет иметь AmazonS3Client, который содержит всю информацию, необходимую вашему приложению spring-batch для связи с S3. Вот как это может выглядеть с конфигурацией Java.

    reader.setResource(new AmazonS3Resource(amazonS3Client, amazonS3Bucket, inputFile));

Более простые шаги:

1. Создайте клиентский компонент AWSS3.
2. Создайте bean-компонент ResourceLoader.
3. Используйте ResourceLoader для установки ресурсов S3.

Во-первых, вам нужно создать клиент AWSS3 и bean-компонент ResourceLoader в файле конфигурации aws, как показано ниже.

@Configuration
@EnableContextResourceLoader
public class AWSConfiguration {

@Bean
@Primary
public AmazonS3 getAmazonS3Cient() {

    ClientConfiguration config = new ClientConfiguration();
    
    config.setConnectionTimeout(5000 * 10);
    config.setSocketTimeout(5000 * 10);

    return AmazonS3ClientBuilder.standard()
            .withClientConfiguration(config).build();
}


@Bean
@Autowired
public static ResourceLoaderBeanPostProcessor resourceLoaderBeanPostProcessor(
        AmazonS3 amazonS3EncryptionClient) {
    return new ResourceLoaderBeanPostProcessor(amazonS3EncryptionClient);
}

}

Затем используйте компонент-загрузчик ресурсов в ItemReader для установки ресурсов S3.

@Autowired
private ResourceLoader resourceLoader;

@Bean
public FlatFileItemReader<String> fileItemReader() {

FlatFileItemReader<String> reader = new FlatFileItemReader<>();
reader.setLineMapper(new JsonLineMapper()); //Change line mapper as per your need
reader.setResource(resourceLoader.getResource("s3://" + amazonS3Bucket + "/" + file));
return reader;
}

Другой способ чтения из S3 через FlatFileItemReader — установить Resouce как InputStream Resouce, а затем использовать s3client putobject для загрузки потока.

reader.setResource(new InputStreamResouce(inputstream));

Как только поток будет заполнен,

s3client.putObject(bucketname,key,inputstream,metadata);