Tableau limited Data Extract Медленное соединение

Я разрабатываю визуализацию в Tableau, и мои данные находятся в Hive / hadoop, и данные огромны,

пока я пытаюсь разработать визуализацию, запрос выполняется очень-очень медленно, так как каждый раз, когда он пытается извлечь данные из hadoop.

поэтому для любой визуализации обычно требуется 4 минуты для простого перетаскивания, а визуализация может иметь 10 секунд перетаскивания, поэтому я в конечном итоге трачу много времени на ожидание. Я попытался использовать опцию извлечения данных, однако извлечение данных заняло вечность (38 минут и все еще продолжалось)

Вопрос: есть ли способ извлечь только 1000 записей, чтобы я мог работать с этими 1000 записями для создания визуализации, а затем переключиться на живое соединение, когда дизайн будет завершен. Я попытался посмотреть в справке сообщества tableau, но пока безуспешно


performance tableau-api hadoop data-extraction
person NxC    schedule 04.10.2016    source источник

Ответы (2)


arrow_upward
1
arrow_downward

скопируйте все ДАННЫЕ в XL и соединил мою Tableue с XL, и моя dahsboard была готова в течение нескольких минут, а поскольку XL и улей имели точно такие же поля, я мог заменить xl-соединение на Hive, и это просто сработало. Он жалуется на вычисленные поля на каком-то листе, но я думаю, что могу переделать эту часть в улье и обойтись.

person NxC    schedule 04.10.2016

arrow_upward
0
arrow_downward

Одним из вариантов может быть отключение автообновления, чтобы оно не перезагружало данные при каждом перетаскивании:

https://onlinehelp.tableau.com/current/pro/desktop/en-us/queries_autoupdates.html

Еще вы можете попробовать следующее. В Hive вы можете создать уменьшенную версию таблицы всего с несколькими 1000 строками. Затем создайте представление над таблицей и наведите на него Tableau. Создайте визуальную визуализацию против вида, а затем, когда вы закончите, воссоздайте вид в Hive, чтобы он указывал на реальный стол. Это может помочь, но если Hive попытается запустить задание уменьшения карты для каждого перетаскивания, это все равно будет удручающе медленным.

По моему опыту работы с Tableau, вы хотите уменьшить свой набор данных до размера, при котором вы можете использовать опцию извлечения. Любая интерактивная панель управления, подключенная к Hive в реальном времени, будет работать медленно. Однако, если вы можете агрегировать набор данных до управляемого размера, если вы выполните извлечение, он может работать очень хорошо. Я больше не работаю с Tableau, но в прошлом у меня были экстракты, которые обновлялись за 30-60 минут и загружали миллионы строк, и это работало хорошо.

person Stephen ODonnell    schedule 04.10.2016
comment
Спасибо @Stephen ODonnell, я нашел другой способ, который оказался намного быстрее и проще. Я скопировал все ДАННЫЕ в XL и соединил свой Tableue с XL, и моя dahsboard была готова в течение нескольких минут, а поскольку XL и улей имели точно такие же поля, я мог заменить xl-соединение на Hive, и это просто сработало. Он жалуется на вычисленные поля на каком-то листе, но я думаю, что могу переделать эту часть в улье и вокруг. - person NxC; 04.10.2016