Вопросы по теме 'alpakka'
TimeoutException при использовании файлов из S3 с потоками akka
Я пытаюсь использовать кучу файлов с S3 в потоковом режиме, используя потоки akka:
S3.listBucket("<bucket>", Some("<common_prefix>"))
.flatMapConcat { r => S3.download("<bucket>", r.key) }
.mapConcat(_.toList)...
200 просмотров
schedule
20.10.2021
Потребительский зачет alpakka kafka
Я использую Alpakka-kafka в scala для использования темы Kafka. Вот мой код:
val kafkaConsumerSettings: ConsumerSettings[String, String] =
ConsumerSettings(actorSystem, new StringDeserializer, new StringDeserializer)...
404 просмотров
schedule
20.05.2022
Как получить доступ к REST API в сокете домена unix с помощью Akka HTTP или Alpakka?
Я хотел бы получить доступ к API докеров, используя сокет домена /var/lib/docker.sock unix. Я видел примеры, в которых вы можете использовать (современные версии) curl для вызова API следующим образом:
curl --unix-socket /var/run/docker.sock...
1143 просмотров
schedule
22.06.2022
Коннектор Aplakka scala s3 зависает при попытке поставить данные
Я пытаюсь обработать aws s3, помещенный в корзину, с помощью простой строки, я не смог сделать это с помощью alpakka (scala), но я могу обработать тот же запрос, используя aws java sdk Используя alpakka, мой поток просто зависает, ничего не...
55 просмотров
schedule
09.08.2022
akka stream alpakka csv: пропустить исключение и проанализировать следующие строки
Я использую Alpakka для разбора файлов csv. версия "com.lightbend.akka" %% "akka-stream-alpakka-csv" % 0.20 У меня есть файл csv с незакрытой цитатой.
email
[email protected]
"[email protected]
[email protected]
[email protected]
Я хочу...
374 просмотров
schedule
01.09.2022
Akka Streams, исходные элементы в качестве другого источника?
Я использую Alpakka-FTP , но, возможно, я ищу общий шаблон akka-stream. Соединитель FTP может отображать файлы или извлекать их:
def ls(host: String): Source[FtpFile, NotUsed]
def fromPath(host: String, path: Path): Source[ByteString,...
555 просмотров
schedule
05.04.2023
Alpakka — чтение Крио-сериализованных объектов из S3
У меня есть Kryo-сериализованные двоичные данные, хранящиеся на S3 (тысячи сериализованных объектов).
Alpakka позволяет читать содержимое как data: Source[ByteString, NotUsed] . Но формат Kryo не использует разделители, поэтому я не могу...
169 просмотров
schedule
28.03.2023
XML-контент Alpakka между тегами
Процесс обработки XML Alpakka позволяет читать XML-файл поэлементно. Но как извлечь данные между конкретными StartElement и EndElement , включая данные StartElement ? subslice не вариант, потому что нет постоянного префикса для необходимых...
84 просмотров
schedule
12.03.2023
Эластичный поиск удаляет несколько типов в одном индексе
Одно из наших приложений было разработано таким образом, что у нас есть 7 индексов каждый день (7 дней), и каждый индекс имеет сопоставление с несколькими типами, например, userId, но все поля одинаковы для каждого типа. Он был разработан давно назад...
60 просмотров
schedule
11.08.2023
Использование KafkaAvroDeserializer с Alpakka
У меня есть SchemaRegistry и KafkaBroker, из которых я извлекаю данные с помощью Avro v1.8.1. Для десериализации я использовал Confluent KafkaAvroDeserializer . Теперь я хотел провести рефакторинг своего кода, чтобы использовать Elasticsearch API...
442 просмотров
schedule
05.03.2023
akka stream alpakka csv: поток не работает, когда неправильное количество столбцов читается из CSV-файла
Я читаю файл CSV из удаленного места (ftp), и файл имеет недопустимое количество столбцов.
Steam не работает, когда такие строки встречаются в файле. Мне нужно пропустить их с сообщением об ошибке и продолжить.
Вот что я пробовал. Стратегия...
305 просмотров
schedule
11.07.2023
Невозможно использовать сообщения от Kafka Consumer с помощью Alpakka
Я пытаюсь использовать сообщения от kafka с помощью alpakka. Я не получаю никакой ошибки от актеров akka, что потребитель остановился, но он не может использовать какие-либо сообщения. Ниже мой код
val consumerSettings =...
224 просмотров
schedule
11.04.2023
Потребитель Alpakka не получает сообщения от Kafka, запущенного через Docker compose
У меня есть Kafka и Zookeeper, работающие через Docker compose. Я могу отправлять / получать сообщения в тему с помощью терминала Kafka, и я могу контролировать все через Conduktor. Но, к сожалению, я не могу получать сообщения через свое приложение...
376 просмотров
schedule
26.01.2023
Ошибка зависимости времени выполнения MongoDB Reactive Streams с Alpakka Mongo Connector ClassNotFoundException
Я пытаюсь интегрировать Alpakka Mongo Connector в приложение, которое сильно зависит от библиотек Akka для потоковой обработки . Приложение также использует Akka HTTP . Я столкнулся с проблемой зависимости во время выполнения. В частности, я...
110 просмотров
schedule
28.12.2022
Проблема с подключением Alpakka S3
Я пытаюсь использовать Alpakka S3 для подключения к экземпляру minio для хранения файлов, но у меня возникают проблемы, так как я обновил версию библиотеки с 1.1.2 до 2.0.0 .
Вот простой сервисный класс всего с двумя методами, которые пытаются...
497 просмотров
schedule
10.02.2024
Alpakka: как десериализовать xml в объекты. Есть ли более краткий шаблон для десериализаторов?
У меня есть сложные данные XML (они могут содержать много данных и могут иметь более 15 ГБ), которые имеют сложную природу с глубокой структурой. Нам нужна потоковая обработка для нашего огромного XML. Использование новой библиотеки Alpakka — наш...
712 просмотров
schedule
07.06.2024
