Вопросы по теме 'amazon-data-pipeline'
Активность EMR застряла в состоянии Waiting_For_Runner
Я создаю конвейер данных для экспорта таблицы DynamoDB в корзину S3. Я использовал стандартный шаблон для этого в консоли конвейера данных. Я проверил, что в поле runOn указано имя запускаемого кластера EMR. Однако статус активности EMR по-прежнему...
3501 просмотров
schedule
27.10.2021
Лучший способ автоматизировать процесс, запускаемый из командной строки (через AWS)
Я работаю над веб-приложением, чтобы предоставить программное обеспечение в виде веб-сервиса с использованием AWS, но я застрял на реализации.
Я буду использовать систему управления контентом (вероятно, Joomla) для управления логинами пользователей...
72 просмотров
schedule
19.10.2021
Нужен совет по стратегии миграции больших таблиц из RDS в DynamoDB
У нас есть пара огромных таблиц mySql в RDS (более 700 ГБ), которые мы хотели бы перенести в таблицу DynamoDB. Можете ли вы предложить стратегию или направление, чтобы сделать это чистым параллельным способом? Возможно, с помощью EMR или AWS Data...
1105 просмотров
schedule
13.10.2021
Как преобразовать типы карт / списков DynamoDB из AWS Pipeline в Redshift?
У меня есть две таблицы DynamoDB, одна с типом данных карты (JSON) и одна с типом данных списка (список JSON).
В нашем текущем конвейере к Redshift утверждается, что это неподдерживаемые типы данных.
Как я могу преобразовать эти столбцы в...
1208 просмотров
schedule
03.12.2021
Сбой конвейера данных для активности EMR
Я пытаюсь запустить искровой шаг на конвейере данных AWS. Я получаю следующее исключение: -
amazonaws.datapipeline.taskrunner.TaskExecutionException: не удалось завершить преобразование EMR. по адресу...
3209 просмотров
schedule
25.09.2021
Ошибка JSON из AWS Data Pipeline S3 в DynamoDB
Я пытаюсь импортировать файл TSV из S3 в DynamoDB с помощью конвейеров данных, но продолжаю нажимать MalformedJsonException . Я проверил обе части Json, которые я предоставляю: определение конвейера данных и манифест папки S3, так что проблема не в...
1077 просмотров
schedule
15.09.2021
Конвейер данных AWS пропускает удаленный JAR в S3
У меня есть конвейер данных AWS, в котором я пытаюсь выполнить шаг, код которого находится в JAR, расположенном в корзине S3. Я указываю путь и имя класса, но в журналах конвейера написано «Предупреждение: пропустить удаленную банку», и мой код...
192 просмотров
schedule
15.10.2021
Дата и время по умолчанию с AWS Data Pipeline
Мы используем конвейер данных для передачи данных из s3 в таблицу красного смещения Amazon. Мы отправляем данные с помощью JSON
{
"jsonpaths": [
"$['data1']",
"$['data1']",
"$['data1']['data1']",
"$['data1']['data1']",...
227 просмотров
schedule
07.12.2021
DriverClass не найден для базы данных: aurora при экспорте postgresql в S3
Я пытаюсь экспортировать Aurora PostgreSQL в S3 через конвейер данных aws. Однако я получил эту ошибку: DriverClass not found for database:aurora
amazonaws.datapipeline.taskrunner.TaskExecutionException: Error copying record at...
628 просмотров
schedule
02.10.2021
Невозможно подключить базу данных RDS MySQL через AWS Datapipeline
Я создал AWS Datapipeline для перемещения данных из базы данных RDS MySQL в S3, но я получаю ошибку ниже. Пожалуйста помоги
amazonaws.datapipeline.connector.SqlInputConnector: строка запроса: выберите * из DB.EMP 02 мая 2020 г., 12:23: 52091...
146 просмотров
schedule
23.10.2021
Загрузите файл реквизита в приложение EMR Spark
Я пытаюсь загрузить настраиваемые свойства в свое приложение Spark, используя: -...
1227 просмотров
schedule
04.04.2022
Проблема с авторизацией AWS Data Pipeline
Я пытаюсь настроить запланированное действие для запуска и остановки экземпляров ec2. Мои действия не выполняются, что приводит к следующей ошибке:
При вызове операции StartInstances произошла ошибка клиента (UnauthorizedOperation): у вас нет...
677 просмотров
schedule
10.04.2022
AWS Data Pipeline Dynamo в Redshift
У меня проблема: мне нужно перенести данные из DynamoDB в Redshift. Проблема в том, что я получаю такое исключение:
ОШИБКА: неподдерживаемый тип данных: текущая версия поддерживает только строки и числа. Подробности:...
92 просмотров
schedule
15.04.2022
aws datapipeline start остановить экземпляры ec2
этот пример: https://aws.amazon.com/premiumsupport/knowledge-center/stop-start-ec2-instances/ , похоже, не работает. Я последовал примеру, и конвейер всегда отменяется. Журналы не создаются, ведение журналов настроил. единственное «сообщение об...
160 просмотров
schedule
02.05.2022
AWS Data Pipeline настроил кластер EMR под управлением Spark
Пожалуйста, может кто-нибудь помочь? Я пытаюсь сделать именно это; Я не могу создать среду EMR с установкой Spark из конфигурации Data Pipeline из консоли AWS. Я выбираю «Запустить задание в кластере EMR», кластер EMR всегда создается с...
1905 просмотров
schedule
14.05.2022
Запуск конвейера данных AWS AWS Glue Crawler
У меня есть конвейер данных Aws с действием EMR, который записывает данные на S3. В конце этого процесса он также записывает некоторые метаданные в определенную папку S3 в этом месте.
Есть ли способ запустить искатель Aws Glue из определения...
355 просмотров
schedule
30.08.2022
AWS Data Pipeline DynamoDB to S3 to Redshift, включая JsonPaths
Мне известно о стандартном КОПИРОВАНИИ из DynamoDB в Redshift, но он работает только для схем без карт и списков. У меня есть несколько таблиц ddb с картами и списками, и мне нужно использовать jsonpaths для импорта в Redshift.
Итак, мой вопрос:...
762 просмотров
schedule
12.09.2022
Резервное копирование из внешнего источника данных в AWS S3 (с использованием конвейерной обработки данных)?
Я пытаюсь переместить некоторые файлы журналов, расположенные на внешнем веб-сервере, в корзину Amazon S3. Это должно происходить каждые 7 дней без ручной активации. Кроме того, я бы хотел, чтобы он был «отказоустойчивым», поэтому, вероятно, было бы...
598 просмотров
schedule
23.01.2023
Перемещение файлов ›5 гигабайт в AWS S3 с использованием конвейера данных
У нас возникают проблемы с файлами, созданными кодом Java, которые записываются локально, а затем копируются конвейером данных в S3. В ошибке упоминается размер файла.
Я бы подумал, что если требуется многокомпонентная загрузка, то Pipeline поймет...
873 просмотров
schedule
29.10.2022
как работает планирование aws datapipeline
Я заметил странное поведение конвейера данных AWS. Execution start time стоит перед scheduled start time . Пожалуйста, обратитесь к скриншоту ниже.
Я что-то упустил здесь?
Является ли это приемлемым поведением для конвейера данных AWS?...
111 просмотров
schedule
19.06.2023
