Та же работа USQL заняла почти 4 часа, что раньше занимало 30 минут. Почему?

У меня есть один конвейер ADF, который выполняет задания USQL с 1 AU. Он запланирован на ежедневный раз. Обычно на выполнение работы уходило около 30 минут. Но теперь я вижу, что на выполнение работы уходит более 3-4 часов. Я вижу, что сейчас он выделяет больше вершин для работы. Так что для сравнения я выполнял ту же старую работу. Вы можете увидеть различия ниже.

1) первое задание - https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/a3071c07-4b90-4f17-8dab-ba16764d9165 Он работает с 5815 вершинами с 1 AU и завершается за 28 минут.

2) вторая работа - https://cmndatadevdl01.azuredatalakeanalytics.net/Jobs/07e41502-3785-4f87-97d0-7682d544864b?api-version=2015-10-01-preview Я выполняю ту же работу с 5 австралийскими долларами, чтобы сохранить мои время, которое длится 46 минут. Я использую тот же код, но он использует 42 330 вершин, почему?

3) третья работа https://cmndatadevdl01.azuredatalakeanalytics.net/jobLink/c0037de7-6ba4-4aa5-9938-c7ba17b5edeb Это почти такая же работа, но немного другой ввод, но она занимает 42173 вершины и завершается за 4,4 часа с 1 AU.

Я думаю, что сейчас что-то не так с учетной записью Azure Data Lake Analytics. Я столкнулся с этой проблемой через пару дней. Примерно за неделю до этого все работало нормально. Пожалуйста, помогите мне решить эту проблему


person Mahesh Dounde    schedule 04.04.2018    source источник


Ответы (1)


к сожалению, у нас нет доступа к вашим ссылкам на вакансии.

Количество вершин зависит, среди прочего, в первую очередь от количества файлов, их размера и - если вы используете таблицы - количества распределений, разделов и - часто упускается из виду, но очень важно - количества фрагментов таблицы, которые вы могли создать во время вставка в таблицы.

Не могли бы вы рассказать нам больше о ваших данных?

  1. Вы запрашиваете файлы? В каком формате (например, JSON, CSV и т. Д.)? Увеличились ли они в количестве или в размерах?
  2. Вы запрашиваете таблицы? Вы часто вставляете в них? Когда вы в последний раз перестраивали таблицу или ее раздел?
person Michael Rys    schedule 05.04.2018