Сброс источника конвейера StreamSets с использованием другого конвейера

Я хочу сбросить источник конвейера StreamSets, используя другой конвейер. Я сделал конвейер, который отправляет 1 бесполезную запись клиентскому компоненту HTTP. HTTP-клиент содержит URL-адрес RESTFUL для сброса источника конвейера. Это что-то вроде этого:

Resource URL: http://<hostname>:<port>/rest/v1/pipeline/StreamSetsPipelinec78f8739-8adb-47ad-beaa-77b3de60038d/resetOffset

HTTP-метод POST

Я проверил это, и это не сбрасывает источник.

Может кто-нибудь помочь мне?


pipeline streamsets
person Abdelrahman Aly    schedule 02.10.2019    source источник

Ответы (3)


arrow_upward
1
arrow_downward

  • Вы пытались использовать curl, чтобы проверить это в первую очередь? Например, если вы ориентируетесь на SDC (а не на SCH), должно работать что-то вроде этого: curl -u admin:admin -X POST http://10.0.0.199:18630/rest/v1/pipeline/SDCHTTPClientd8bc16bc-4b4a-49cd-ba4c-41d7831ff5bd/resetOffset -H "X-Requested-By: SDC"
  • Из HTTP-клиента, что вы установили для типа аутентификации и передаете ли вы правильные учетные данные?
  • Вы передаете атрибут заголовка X-Requested-By?
  • В любом случае, вы получаете какие-либо ошибки?
  • Обратите внимание, что эта конечная точка REST API не возвращает тело ответа... просто код ответа 200
person Dash    schedule 02.10.2019

arrow_upward
0
arrow_downward

Вы тестировали URL-адрес API отдельно, чтобы убедиться, что он работает?

person Khanh Tran    schedule 02.10.2019

arrow_upward
0
arrow_downward

Используя запрос на завивание в терминале, я делал следующее (это точно так же, как упоминалось Dash Desai)

curl -u ${SSUser}:${SSPW} -X POST http://${SSHost}:${SSPort}/rest/v1/pipeline/${SSPipeID}/resetOffset -H "X-Requested-By:sdc"

Но теперь я хочу сделать конвейер, который выполняет ту же работу.

Мне удалось создать его сейчас. Проблема, с которой я столкнулся, заключалась в том, что я не установил тип аутентификации и не предоставил учетные данные. Я также не передал атрибут заголовка X-Requested-By. Хотя ошибок у меня не было. (Точно так же, как предложено Dash Desai)

Ниже приведены конфигурации, которые у меня есть сейчас:

введите здесь описание изображения

Спасибо всем, кто пытался помочь ^^

person Abdelrahman Aly    schedule 03.10.2019