Не знаю, почему, и уже изучал этот ответ, но безуспешно.
Мои исполнители прослушивают свой адрес localhost, выполняя любую операцию перемешивания, поскольку они не могут разговаривать друг с другом.
Я запускаю Spark на Mesos, и у меня уже есть следующие переменные, указывающие на их собственный IP (не localhost):
- SPARK_LOCAL_IP
- LIBPROCESS_IP
Это процесс в конце, затемненная часть - это внешний IP-адрес.
Это процесс в конце
Я не понимаю, как обмануть исполнителя, чтобы он открыл его собственный IP, но не для localhost.
Похоже, это не разрешается правильно.
РЕДАКТИРОВАТЬ. Если я запускаю BlockManager вручную, используя адрес ipv4 172.12.12.12 (пример), исполнитель затем привязывается к правильному адресу, но затем, если я использую адрес DNS myserver.myservice.aws, исполнитель привязывается к локальный хост.
Кто-нибудь знает, почему и как это решить? Измените проблему разрешения или заставьте мезо вызывать адрес ipv4?
