Я выполняю задание Dask-YARN в кластере YARN по расписанию. Задание создает список задач отложенного набора и отправляет его в кластер, используя следующий код:
from dask_yarn import YarnCluster
cluster = YarnCluster()
cluster.scale(8)
app_id = cluster.application_client.id
client = Client(cluster)
dask.compute(dask_tasks)
cluster.shutdown()
client.close()
Затем он записывает журналы рабочих приложений с помощью команды:
yarn logs -applicationId {app_id} -log_files dask.worker.log
После печати всех журналов рабочих я вижу следующее сообщение об ошибке:
End of LogType:dask.worker.log
********************************************************************************
2019/11/28 11:16:24 - asyncio - ERROR - Future exception was never retrieved
future: <Future finished exception=TimeoutError('Timeout')>
tornado.util.TimeoutError: Timeout
Это задание выполняется по расписанию, и сообщение об ошибке выше появляется периодически. Задание также успешно завершается во всех случаях, когда отображается это сообщение об ошибке. Так кто-нибудь знает причину этой ошибки?
