Вопросы по теме 'amazon-kinesis'
Запись в поток Kinesis с использованием AWS Lambda Function
Можем ли мы создать лямбда-функцию, которая может выполняться, когда мы записываем запись в таблицу Dynamo DB, и эта запись записывается в поток Kinesis ?? В принципе, мы можем писать в поток Kinesis с помощью лямбда-функции ?? Если да, пожалуйста,...
12065 просмотров
schedule
13.11.2021
Spark не может получить события из Amazon Kinesis
Недавно я пытался получить события чтения Spark из Kinesis, но у меня проблемы с получением событий. Хотя Spark может подключаться к Kinesis и получать метаданные от Kinesis, он не может получать от него события. Он всегда возвращает нулевые...
1032 просмотров
schedule
18.10.2021
как обрабатывать статические данные в AMAZON Kinesis?
Как мы можем обрабатывать статические данные в Amazon kinesis? Например, у меня есть данные в таблицах Excel, и я хочу обработать их в Kinesis. Является ли это возможным? Если да, то как этого добиться?
303 просмотров
schedule
05.10.2021
Подход без ресивера для искрообразования с кинезисом
Для потоковой передачи Spark с kafka у нас есть Directstream, который является подходом без приемника и сопоставляет разделы kafka с разделами RDD. В настоящее время у нас есть приложение, в котором мы используем подход Kafka Direct и поддерживаем...
315 просмотров
schedule
23.10.2021
AWS Kinesis ProvisionedThroughputExceededException, если имеется более 5 прослушивателей Lambda.
Мы используем кинезис в качестве очереди для хранения событий, запускающих лямбда-функции на AWS. Мы периодически сталкиваемся с ProvisionedThroughputExceededException, хотя наши полезные данные действительно маленькие. После раундов обсуждения с...
442 просмотров
schedule
17.09.2021
Что означает ограничение в 5 транзакций в секунду для каждой учетной записи на открытый шард для GetShardIterator?
Что в точности означает в AWS Kinesis Streams:
GetShardIterator имеет ограничение в 5 транзакций в секунду для каждой учетной записи на один открытый шард.
В частности, что такое «открытый осколок»? Осколок, у которого есть итератор...
891 просмотров
schedule
15.10.2021
Как лучше всего записывать данные журнала из Kinesis в Cloudwatch?
Я работаю с системой с ограниченными ресурсами и не могу использовать файловую систему и сеть. Я создаю несколько журналов в этой системе и публикую их как часть своего ответа. Эти журналы отделяются от ответа и публикуются в Kinesis. У меня есть...
198 просмотров
schedule
28.09.2021
Amazon Kinesis - время использования и часы работы с фрагментами
Моя команда использует Amazon Kinesis для вывода результатов запросов по другим наборам данных в нашу собственную корзину S3.
Хотя мы вообще не выполняли запросы часто, мы увидели, что в нашей биллинговой консоли мы все еще использовали 24 000...
503 просмотров
schedule
03.12.2021
Помещайте данные из AWS Kinesis в разные сегменты в зависимости от типа данных.
Я выполнил настройку, описанную в это руководство по настройке конвейера данных от Авроры до красного смещения. У меня это отлично работает для одной таблицы, например, для продаж.
Однако теперь я хочу расширить возможности, чтобы я мог также...
245 просмотров
schedule
30.11.2021
ВНИМАНИЕ: ошибочный конвейер: нет элемента kvssink
Я пробую Kinesis Video Stream через https://docs.aws.amazon.com/kinesisvideostreams/latest/dg/gs-send-data.html Я уже установил его
Успех в создании SDK Kinesis Video Streams Producer !!! Теперь вы можете установить переменные среды перед...
2306 просмотров
schedule
29.09.2021
Проблемы с использованием StreamConsumer для подключения Kinesis Stream к DynamoDb с Cloudformation
Используя облачную информацию, я хочу подключить Kinesis Stream напрямую к таблице DynamoDB. Похоже, что это можно сделать с помощью StreamConsumer. Приведенный ниже сценарий облачной информации дает мне эту ошибку:
Value...
64 просмотров
schedule
05.12.2021
Есть ли способ временно остановить AWS Kinesis Stream?
У меня следующая установка.
Kinesis Stream - ›2. Огненный шланг Kinesis
Есть ли способ 1. перестать быть активным и снова включить его позже, или единственное решение - удалить его и воссоздать заново?
687 просмотров
schedule
18.10.2021
Как объединить потоки данных Kinesis в один для анализа данных Kinesis?
У меня есть несколько потоков данных / пожарных шлангов AWS kinesis со структурированными данными в формате CSV. Мне нужно выполнить аналитику этих данных с помощью Kinesis Data Analytics. Но как мне объединить несколько потоков в один? Потому что...
347 просмотров
schedule
12.10.2021
Как объединить аудио и видео из разных источников для видео Kinesis
Как мне поместить несвязанный звук в любой сгенерированный видеопоток таким образом, чтобы они синхронизировались в gstreamer?
Контекст:
Я хочу транслировать звук из icecast в поток Kinesis Video, а затем просматривать его с помощью плеера...
349 просмотров
schedule
17.01.2022
Как создать расширенного потребителя Kinesis для лямбда-выражения
Я хочу использовать лямбда (python) для чтения данных из потока данных Kinesis и передачи их в другой поток данных Kinesis. Я хочу создать расширенного потребителя разветвления для исходного потока, чтобы его можно было использовать лямбда-функцией....
293 просмотров
schedule
19.02.2022
Kinesis Firehose не отправляет данные в корзину S3
Я настроил поток Kinesis с Firehose, который должен принимать данные, помещаемые в поток, и сохранять их в корзине S3.
В настоящее время я вижу, что мой поток получает данные, а мой пожарный шланг читает их, но затем ничего не отправляет на S3....
297 просмотров
schedule
25.02.2022
Может ли приложение Kafka Stream читать из потока Kinesis?
Мне нужно написать Java-приложение, которое читает из потока Kinesis и хранит данные в теме Kafka. Я не могу использовать коннектор, мне приходится использовать Kafka Streams, потому что здесь задействовано много логики. Может ли Kafka Stream читать...
163 просмотров
schedule
08.03.2022
Пример Java AWS Kinesis Enhanced разветвления
У меня есть приложение, которое потребляет записи из потоков Kinesis и обрабатывает их дальше, но производительность довольно низкая, поэтому теперь я планирую перейти на потребителя разветвления Kinesis Enhanced с использованием KCL 2.x для повышения...
338 просмотров
schedule
11.03.2022
Как сохранить видеопоток Kinesis в ведре S3?
Я отправляю потоковое видео в реальном времени на консоль amazon с помощью потокового видео kinesis, теперь я хочу сохранить его в amazon S3. Как сохранить его в S3, объясните подробно. Спасибо
3719 просмотров
schedule
30.03.2022
Поток Kinesis в AWS lambda
В настоящее время я использую потоки DynamoDB и с нетерпением жду возможности перейти на потоки Kinesis, поскольку я хочу получить контроль над количеством записей, которые мне нравится обрабатывать из потоков.
Я читал о потоках Kinesis и лямбде....
439 просмотров
schedule
26.03.2022
