Публикации по теме 'streamsets'
Загрузите данные из S3 в Snowflake и используйте модель TensorFlow
Узнайте, как загружать данные из S3 в Snowflake и обслуживать модель TensorFlow в сборщике данных StreamSets, механизме быстрого приема данных , конвейере данных для оценки данных, поступающих из S3 в Snowflake.
Данные и аналитика помогают нам становиться быстрее и умнее, чтобы оставаться здоровыми. Открытые наборы данных и аналитика в облачном масштабе являются ключом к раскрытию точности, необходимой для реального воздействия в области медицины. Облака данных , такие как Snowflake,..
Вопросы по теме 'streamsets'
Специальные символы (акцент, апостроф, трем) работают в настраиваемых исходных тестах, но больше не работают при развертывании в докеризованных наборах потоков.
Я написал собственный источник Streamsets. Некоторые записи содержат такие символы, как é или ë. При запуске моих автоматических тестов я могу проверить, что данные отправляются в виде списка записей SDC, как и предполагалось.
Однако, когда я...
47 просмотров
schedule
16.09.2021
Разница между Apache NiFi и StreamSets
Я планирую создать проект класса и перебирал несколько технологий, с помощью которых я могу автоматизировать или настраивать поток данных между системами, и обнаружил, что их несколько, то есть Apache NiFi и StreamSets (насколько мне известно). Чего...
36608 просмотров
schedule
26.02.2022
Получение данных из сборщика данных Streamsets (SDC), защищенного Kerberos
Я пытаюсь получить данные из SDC API, защищенного Kerberos. Сначала я отправляю учетные данные на страницу входа в SCH, а затем использую файлы cookie, сгенерированные для доступа к SDC rest API. Однако я не могу опубликовать учетные данные. Код...
413 просмотров
schedule
02.07.2022
Сброс источника конвейера StreamSets с использованием другого конвейера
Я хочу сбросить источник конвейера StreamSets, используя другой конвейер. Я сделал конвейер, который отправляет 1 бесполезную запись клиентскому компоненту HTTP. HTTP-клиент содержит URL-адрес RESTFUL для сброса источника конвейера. Это что-то...
228 просмотров
schedule
25.07.2022
Предотвращение дублирования ключей при объединении наборов данных в одну таблицу
Я пытаюсь поместить данные о наших активах из разных стран (например, Испании, Швеции на данный момент) в 1 таблицу, используя StreamSets.
Учитывая, что они оба будут иметь один и тот же ключ идентификации, то есть у Испании будет panel_ID = 1, как...
65 просмотров
schedule
12.09.2022
NiFi или Streamsets для чтения из HBase, соединения с контентом из плоского файла и записи в Hive
Пытался выяснить, можно ли объединить с помощью apache NiFi или Streamsets. Чтобы я мог периодически читать данные из HBase, присоединяться к другим таблицам и записывать несколько полей в таблицу Hive.
Или есть какой-либо другой инструмент...
403 просмотров
schedule
26.09.2022
Сборщик данных StreamSets считывает неправильное время из Kafka
Похоже, что сборщик данных StreamSets считывает неверные значения даты и времени.
Я попытался прочитать простую тему из Confluent: когда я проверяю значение даты и времени в миллисекундах с темами Landoop Kafka, он показывает правильное время и...
994 просмотров
schedule
02.03.2023
Что такое архитектура StreamSets?
Я не очень хорошо разбираюсь в архитектуре даже после прохождения руководств. Как масштабировать набор потоков в распределенной среде? Допустим, наша скорость ввода данных увеличивается от источника, тогда как гарантировать, что SDC не вызывает...
1054 просмотров
schedule
09.03.2023
HADOOPFS — не удалось проверить базовый каталог в наборах потоков
У меня проблемы с запуском конвейера в наборах потоков, я вижу следующую ошибку:
HADOOPFS_44 - Could not verify the base directory: 'java.net.ConnectException: Call From SDC/...... to ......failed on connection exception:...
220 просмотров
schedule
15.09.2023
Как присоединиться к нескольким темам Kafka в сборщике данных StreamSets?
У меня есть вариант использования, когда мне нужно «присоединиться» к нескольким темам Kafka на основе некоторых критериев в сборщике данных StreamSets. Интересно, есть ли какая-нибудь общепринятая идиома, которая могла бы решить такую проблему?
185 просмотров
schedule
07.05.2023
Streamsets Transformer — источник JDBC без столбца смещения
Я тестирую платформы, которые позволяют любому пользователю легко создавать конвейеры обработки данных. Эта платформа должна соответствовать определенным требованиям, и одно из них — способность перемещать данные из Oracle/SQL Server в HDFS....
153 просмотров
schedule
29.07.2023
Streamsets Ошибка сценария Javascript при загрузке JQuery
Я пытаюсь загрузить JQuery в Streamsets Javascript Scripting Origin для запроса остальных API и получаю сообщение об ошибке. Код выглядит так, как показано ниже, и разрешение на загрузку Java было указано в /etc/sdc/sdc-security.policy. У...
51 просмотров
schedule
20.05.2023
Оценщик Streamsets Jython
Мне нужен код, как проверить все поля записи, если они содержат определенную строку, и написать атрибут заголовка, если он имеет этот символ. Пожалуйста, смотрите код ниже:
for record in records:
if record.value == "":...
147 просмотров
schedule
31.10.2022
Невозможно получить доступ к StreamSets через URL-адрес на K8s
Я использую сценарий ansible для развертывания наборов потоков на главном узле k8s. Есть игра, в которой я проверяю, доступна ли панель инструментов набора потоков через http://127.0.0.1 : {{streamsets_nodePort}} , где streamsets_nodePort: 30029...
71 просмотров
schedule
08.01.2024
