Конечная точка разработки AWS Glue не работает должным образом

Я пытаюсь использовать конечную точку разработки для интерактивного запуска и редактирования сценариев ETL, но, похоже, возникают некоторые проблемы в конечной точке разработки сразу после ее создания, поскольку я получаю ошибки в scala / python REPL, а также не могу создать туннель SSH для удаленного интерпретатора. Позвольте мне объяснить, что именно я сделал - я создал конечную точку разработки в консоли AWS со всеми конфигурациями по умолчанию. При создании конечной точки разработки я предоставил только три вещи: «Имя конечной точки разработки», «Роль IAM» и свой «pub ssh key». Так выглядит после создания

введите описание изображения здесь

Затем сразу после создания конечной точки я подключаюсь к REPL spark / python, я могу успешно подключиться к ним, но в течение нескольких минут после подключения REPL начинает выдавать ошибки без написания ни одной строчки кода. Это происходит во всех REPL, присутствующих в конечных точках разработки.

введите описание изображения здесь

Также, когда я пытаюсь выполнить SSH-туннелирование к удаленному интерпретатору для подключения моего локального ноутбука Zeppelin, он выдает - bind: Невозможно назначить запрошенный адрес.

Однако пара вещей, которые работают -

  • Возможность использовать ssh для конечной точки.
  • Создал ноутбук Sagemaker на клею AWS, который прикреплен к этой конечной точке разработки, и этот ноутбук, похоже, работает нормально, хотя, безусловно, это требует дополнительных затрат, и я не хочу продолжать его использовать.

Может ли кто-нибудь помочь, что я делаю не так? Пропускаю ли я какие-либо важные шаги, которые необходимо выполнить на машине сразу после создания конечной точки разработки?

Заранее спасибо!


comment
Вы смогли это понять? Моя команда столкнулась с аналогичной проблемой.   -  person Naveen Kumar    schedule 16.02.2021


Ответы (1)


Не очень уверен в этой ошибке, но если вы используете меньшие наборы данных, то, вероятно, вы захотите использовать реализацию Docker, поскольку она не добавит никаких дополнительных затрат, и вы можете продолжить свои разработки.

Вы можете сослаться на этот блог, чтобы узнать, как его настроить

https://towardsdatascience.com/develop-glue-jobs-locally-using-docker-containers-bffc9d95bd1

person Shubham Jain    schedule 16.07.2020