Один экземпляр Azure Synapse с несколькими средами

В настоящее время мы развертываем несколько тестовых виртуальных сетей (каждая из которых представляет среду) в одну подписку для тестирования, и для ограничения доступа мы решили создать три отдельных фабрики данных Azure (мы предполагаем, что, поскольку они взимаются во время выполнения, затраты должны быть относительно одинаковыми. ), для каждого ADF у нас есть озеро данных, в котором хранятся данные (опять же, мы предполагаем, что, поскольку это взимается за гигабайт, независимо от того, есть ли у нас 1 или 3, стоимость относительно одинакова), но мы не можем понять, что можем ли мы иметь 1 экземпляр синапса Azure в отдельной виртуальной сети, запрашивающей у трех виртуальных сетей (сред)?

Итак, я пытаюсь выяснить, может ли Azure Synapse работать с 3 озерами данных или фабриками данных, или мне нужен один экземпляр Synapse для каждой фабрики данных?

Допущения. Плата за Azure Data Lake взимается за ГБ, независимо от того, есть ли у нас 1 или 3 ГБ, стоимость относительно одинакова? Поскольку ADF взимает плату только во время выполнения, затраты должны быть примерно такими же? Верны ли эти предположения?

Надеюсь, это имеет смысл, и спасибо за вашу помощь .. Новичок в данных, так что простите любые школьные ошибки :)


person Norrin Rad    schedule 09.10.2020    source источник
comment
Вы используете предварительную версию рабочего пространства Synapse? Если да, то какие вычисления в Synapse вы используете? Пул SQL (подготовленный DW), SQL по запросу или Spark?   -  person GregGalloway    schedule 10.10.2020
comment
@GregGalloway привет, я считаю, что мы используем пул SQL, нам нужно будет запросить озеро данных, поэтому, если у нас есть три фабрики данных и три озера данных, каждое из которых представляет среду, и все они являются запросами одного экземпляра лазурного синапса, делает ли это смысл?   -  person Norrin Rad    schedule 10.10.2020


Ответы (1)


Пул SQL оплачивается почасово, когда он включен, а также за хранение. Поэтому, если вы хотите создать по одному для каждой среды, посмотрите на программную приостановку и возобновление, чтобы сэкономить средства.

Если это Synapse Analytics (ранее Azure SQL DW) (строка подключения, которая заканчивается на .database.windows.net), то следующий sample - конвейер ADF для приостановки DW.

Если это Synapse Analytics Workspace (соединение заканчивается на sql.azuresynapse.net), то у меня под рукой нет образца.

Любой из них может запрашивать одно или несколько озер данных.

person GregGalloway    schedule 10.10.2020
comment
спасибо за это, очень полезно, единственное, стоит ли использовать один adf и озеро данных и иметь несколько общих сред или иметь отдельные среды для каждой среды, ответ синапса отличный. - person Norrin Rad; 10.10.2020
comment
@NorrinRad, если вы намереваетесь иметь среду разработки, тестирования и тестирования с идентичным кодом, развернутым для каждой, тогда отдельные ADF и озера данных имеют смысл. Если вы хотите что-то еще, объясните. - person GregGalloway; 10.10.2020
comment
Спасибо за весь ваш вклад, могу ли я спросить еще одну вещь по этому поводу: зачем вам нужны отдельные ADF и озера данных, если при использовании идентичного кода будет недостаточно источника и пункта назначения (связанных точек), чтобы сделать его уникальным в тот же АПД? Также можем ли мы иметь несколько ADF, указывающих на одно озеро данных, есть ли там экономия? В очередной раз благодарим за помощь - person Norrin Rad; 11.10.2020
comment
@NorrinRad, это просто поможет с точки зрения разработки и тестирования. Вы можете разработать изменения кода в dev, а затем развернуть их в другой среде для пользовательского тестирования или чего-то еще. - person GregGalloway; 11.10.2020
comment
Еще раз спасибо, это имеет смысл, и вы можете сказать новое о данных. Из того, что я пришел к выводу, если они используют один и тот же код в разных средах для использования нескольких ADF. Добрался до конца :) - person Norrin Rad; 11.10.2020