Вопросы по теме 'amazon-kinesis-firehose'
как обрабатывать статические данные в AMAZON Kinesis?
Как мы можем обрабатывать статические данные в Amazon kinesis? Например, у меня есть данные в таблицах Excel, и я хочу обработать их в Kinesis. Является ли это возможным? Если да, то как этого добиться?
303 просмотров
schedule
05.10.2021
AWS Cloudwatch выполняет журналы в ElasticSeacrh через Kinesis Firehose
Я пытаюсь передать журналы AWS cloudwatch в Amazon ES с помощью Kinesis Firehose. Однако я продолжаю получать следующие ошибки в журнале ошибок ES. Любая идея?
Данные не могут быть декодированы как UTF-8, как в {"playsMade": 0,...
1252 просмотров
schedule
09.11.2021
Помещайте данные из AWS Kinesis в разные сегменты в зависимости от типа данных.
Я выполнил настройку, описанную в это руководство по настройке конвейера данных от Авроры до красного смещения. У меня это отлично работает для одной таблицы, например, для продаж.
Однако теперь я хочу расширить возможности, чтобы я мог также...
245 просмотров
schedule
30.11.2021
kinessis не может отправить данные в красное смещение: Redshift.ConnectionFailed
Я новичок в AWS. в течение недели я пытаюсь передать данные из Nifi в Redshift в качестве теста, чтобы узнать, как это работает. что я делаю, так это то, что генерирую простую запись «aa, 12,2020» с помощью Nifi, отправляю ее в пожарный шланг...
357 просмотров
schedule
10.11.2021
Есть ли способ временно остановить AWS Kinesis Stream?
У меня следующая установка.
Kinesis Stream - ›2. Огненный шланг Kinesis
Есть ли способ 1. перестать быть активным и снова включить его позже, или единственное решение - удалить его и воссоздать заново?
687 просмотров
schedule
18.10.2021
Как объединить потоки данных Kinesis в один для анализа данных Kinesis?
У меня есть несколько потоков данных / пожарных шлангов AWS kinesis со структурированными данными в формате CSV. Мне нужно выполнить аналитику этих данных с помощью Kinesis Data Analytics. Но как мне объединить несколько потоков в один? Потому что...
347 просмотров
schedule
12.10.2021
Как включить функцию AWS Lambda для записи в Firehose?
У меня есть функция AWS Lambda, которая должна писать в Firehose. Однако, когда я делаю PutRecordBatchRequest , время ожидания истекает, и запись в Firehose не выполняется.
Функция находится в VPC. Я добавил политику к роли лямбды, чтобы...
163 просмотров
schedule
15.11.2021
Почему в аналитике, близкой к реальному времени, Lambda - ›Firehose -› S3 предпочтительнее, чем Lambda - ›S3?
Многие эталонные архитектуры AWS для бессерверной аналитики в реальном времени предлагают передавать обработанные данные из Lambda в S3 через Kinesis Firehose.
например...
115 просмотров
schedule
20.02.2022
Как очистить файлы S3, используемые AWS Firehose после загрузки файлов?
AWS Firehose использует S3 как временное хранилище перед копированием данных в красный смещение. Как только данные переведены в красное смещение, как очистить их автоматически, если это удастся.
Я удалил эти файлы вручную, он вышел из состояния,...
972 просмотров
schedule
01.03.2022
Kinesis Firehose не отправляет данные в корзину S3
Я настроил поток Kinesis с Firehose, который должен принимать данные, помещаемые в поток, и сохранять их в корзине S3.
В настоящее время я вижу, что мой поток получает данные, а мой пожарный шланг читает их, но затем ничего не отправляет на S3....
297 просмотров
schedule
25.02.2022
Потоковая передача данных из SQL Server в Redshift с помощью Kinesis Firehose
Приведенный ниже инструмент представляет собой метод пакетного импорта для копирования данных из SQL Server RDS в Redshift.
AWS Schema Conversion Tool экспортирует из SQL Server в Amazon Redshift
Есть ли более оптимизированный метод, каждый...
1669 просмотров
schedule
07.03.2022
Amazon Kinesis с iOS
Может ли устройство iOS отправлять данные в систему доставки Amazon Kinesis Firehose? (в документе нет api для iOS) Если нет, то какой продукт AWS мне следует использовать для создания базы данных в реальном времени для поддержки устройств iOS (а...
3296 просмотров
schedule
22.04.2022
AWS Glue - Добавление поля в поле структуры
У меня есть таблица, определенная в AWS Glue. Я использую потоки AWS Kinesis для потоковой передачи журналов в S3, используя это определение таблицы, используя формат файла parquet. Он разбит по дате.
Одно из полей в таблице - это структура с...
1362 просмотров
schedule
22.04.2022
Потоковая передача данных из одного Kinesis Stream в несколько таблиц в Redshift
У меня есть данные, поступающие в потоки Kinesis от разных производителей. Данные необходимо преобразовать в несколько разных таблиц в зависимости от типа этих данных. Я пытаюсь прочитать Lambda из Kinesis Streams, преобразовать данные в разные...
1727 просмотров
schedule
06.05.2022
Как индексировать преобразованные записи журнала в AWS Elasticsearch?
TL; DR
Лямбда-функция не может индексировать журналы пожарных шлангов в управляемой AWS ES из-за «проблемы с кодированием».
Фактический ответ при ошибке
Я не получаю никаких ошибок, когда кодирую base64 один logEvent из пожарного шланга...
1115 просмотров
schedule
10.06.2022
Использование AWS для сохранения и отслеживания местоположения в реальном времени
Краткое решение:
Я сохраняю местоположение устройства IOT и местоположение автомобилей поставщика услуг в Dynamo DB через AWS Kinesis. Я сопоставляю Одного пользователя с конкретными поставщиками услуг Автомобили и отправляю Автомобиль в общее...
932 просмотров
schedule
30.06.2022
Как установить пункт назначения как лямбда в облачной информации для анализа данных aws kinesis
Я хочу создать аналитику данных aws kinesis в облачной информации и хочу добавить пункт назначения как лямбда. Как следует из следующей ссылки:
aws kinesis data analytics cfn
Я могу добавить следующее описание:
BasicApplicationOutputs:...
254 просмотров
schedule
06.07.2022
Перенаправить предварительные журналы в Kinesis Firehose
Для ведения журнала приложений я планирую пересылать журнал с моих локальных серверов в пожарный шланг AWS Kinesis. Я пытаюсь использовать Logstash и плагин log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis
Но я думаю,...
394 просмотров
schedule
27.07.2022
Многопользовательская архитектура AWS Firehose
Во-первых, мне иногда трудно понять, к какой сети SE прикреплять вопросы по бессерверной архитектуре. Я буквально прочитал список всех сетей SE и не смог найти лучшего, чем SO, поэтому я здесь. Это также место, где задают вопросы Firehose,...
63 просмотров
schedule
23.07.2022
UPSERT таблицы Redshift с помощью Kinesis Firehose
Я настраиваю конвейер данных Kinesis Data Stream -> Firehose -> Redshift .
Документы говорят, что Firehose может создавать дубликаты.
Чтобы решить этот случай, я пытаюсь использовать подход upsert из здесь .
Можно ли настроить вызов...
107 просмотров
schedule
16.08.2022
